通过上次的笔记FastGPT + Ollama本地知识库(一) 环境已经安装完了,今天记录下FastGPT
的使用,知识库的搭建,默认端口3000,用户名 root 密码 1234
知识库创建需要 索引模型
文件处理模型
两个字段,我一般选择 bge-m3:chatfire/bge-m3:q8_0
和 qwen2
对中文支持友好,这两个都在我本地,运行的慢;其实也没搞清楚有啥区别,然后就是分段,默认就行,选择数据源就解析了,没啥操作;
工作台直接新建工作流,这样直观些,网上都有教程,简单的直接一个知识库 + AI回答就行了
就是通过AI给问题分类,做分支,触发下一个流程;顶上可以修改标题,在前端用的时候显示步骤的标题,然后选择模型,我还是选择了gpt-4o-mini
精确些,最后问题分类就行了,其他还是提示词
工程,提示词写的好,就可以和AI配合了
除了选择知识库外,这里的要操作的是选择检索方式,这几个可以都试试,提高检索的准确性,结果重排
很好用一定要勾上,使用单独的模型重拍,这个也部署在本地
搜索过滤 引用上下文
最低相关度
也要调一下,引用上下文
如果很大会把好多没用的都搜出来,很小又搜不到东西,最低相关度
也是如果相关度较低的就直接忽略了,如果这个值很高,也会忽略一些其他的关联内容;
最后问题优化
看场景吧,会影响知识库检索时间,简单的场景下就不用优化了;
这里就是提示词了,三要素,角色
,输入
,输出
,可以的话加示例,还是看模型,我本地跑的 7B 9B 模型效果都不好,豆包
ChatGML
Kimi
我都用了,最后还是gpt-4o-mini
稳定些
因为有的模块接不到上一个流程的返回值,或要对返回的值进行加工组合,需要先存在变量中,然后拼接,再引用变量,所有再某个操作后需要更新变量
,就是赋值;
系统配置中可以增加变量,必填的意思就是会弹出一个框框让你填写值
最后对工作流进行调试,看看每步的输出,也是细致活,多做测试多优化,可以让AI写点提示词;
最后就是发布,直接创建链接就行了,有三种格式,全屏网页,嵌入,和 <script>
,非常方便;
目前博客上的助手就是发布后的,如果我笔记本开机就能连上,大家可以玩一玩 ↘
本文作者:没想好
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!