编辑
2024-08-05
我当运维
00

目录

1. 知识库
2. 工作台
2.1 问题分类
2.2 知识库检索
2.3 AI对话
2.4 变量和文本拼接
2.5 调试
3. 发布

通过上次的笔记FastGPT + Ollama本地知识库(一) 环境已经安装完了,今天记录下FastGPT的使用,知识库的搭建,默认端口3000,用户名 root 密码 1234

1. 知识库

知识库创建需要 索引模型 文件处理模型 两个字段,我一般选择 bge-m3:chatfire/bge-m3:q8_0qwen2 对中文支持友好,这两个都在我本地,运行的慢;其实也没搞清楚有啥区别,然后就是分段,默认就行,选择数据源就解析了,没啥操作;

2. 工作台

工作台直接新建工作流,这样直观些,网上都有教程,简单的直接一个知识库 + AI回答就行了

2.1 问题分类

就是通过AI给问题分类,做分支,触发下一个流程;顶上可以修改标题,在前端用的时候显示步骤的标题,然后选择模型,我还是选择了gpt-4o-mini精确些,最后问题分类就行了,其他还是提示词工程,提示词写的好,就可以和AI配合了

图片.png

2.2 知识库检索

除了选择知识库外,这里的要操作的是选择检索方式,这几个可以都试试,提高检索的准确性,结果重排很好用一定要勾上,使用单独的模型重拍,这个也部署在本地

图片.png

图片.png

搜索过滤 引用上下文 最低相关度 也要调一下,引用上下文如果很大会把好多没用的都搜出来,很小又搜不到东西,最低相关度也是如果相关度较低的就直接忽略了,如果这个值很高,也会忽略一些其他的关联内容;

图片.png

最后问题优化看场景吧,会影响知识库检索时间,简单的场景下就不用优化了;

2.3 AI对话

这里就是提示词了,三要素,角色输入输出,可以的话加示例,还是看模型,我本地跑的 7B 9B 模型效果都不好,豆包 ChatGML Kimi 我都用了,最后还是gpt-4o-mini稳定些

图片.png

2.4 变量和文本拼接

因为有的模块接不到上一个流程的返回值,或要对返回的值进行加工组合,需要先存在变量中,然后拼接,再引用变量,所有再某个操作后需要更新变量,就是赋值;

系统配置中可以增加变量,必填的意思就是会弹出一个框框让你填写值

图片.png

图片.png

2.5 调试

最后对工作流进行调试,看看每步的输出,也是细致活,多做测试多优化,可以让AI写点提示词;

3. 发布

最后就是发布,直接创建链接就行了,有三种格式,全屏网页,嵌入,和 <script>,非常方便;


目前博客上的助手就是发布后的,如果我笔记本开机就能连上,大家可以玩一玩 ↘

如果对你有用的话,可以打赏哦
打赏
ali pay
wechat pay

本文作者:没想好

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!