一个500行Python代码构建的AI搜索工具，而且还会开源，试了一下麻雀虽小该有的都有。后端是Mixtral-8x7b 模型，托管在 LeptonAI 上，输出速度能达到每秒大约200个 token，用的搜索引擎是 Bing 的搜索 API。
一个500行Python代码构建的AI搜索工具，而且还会开源，试了一下麻雀虽小该有的都有。
后端是Mixtral-8x7b 模型，托管在 LeptonAI 上，输出速度能达到每秒大约200个 token，用的搜索引擎是 Bing 的搜索 API。
作者还写了一下自己的经验：
(1) 搜索质量至关重要。优质的摘要片段是形成精准概括的关键。
(2) 适当加入一些虚构内容实际上有助于补充摘要片段中缺失的“常识性信息”。
(3) 在进行内容概括时，开源模型表现出了卓越的效果。
这里尝试：https://search.lepton.run/