最近在学习SemanticKernel
,参考使用 许泽宇
的 GraphRag.Net,遇到一个难题是本地模型无法准确返回格式化内容,比如JSON
,但是像 gpt-4o-mini
返回的就比较稳定,又看了其他人的例子和官方的示例,还是有人成功的,所以感觉还是从提示词入手;
最后参考这篇文章Prompt 高级技巧:借助伪代码精准的控制 LLM 的输出结果和定义其执行逻辑
成功让 qwen2-7b
输出了JSON
格式,这里记录下提示词:
通过上次的笔记FastGPT + Ollama本地知识库(一) 环境已经安装完了,今天记录下FastGPT
的使用,知识库的搭建,默认端口3000,用户名 root 密码 1234
知识库创建需要 索引模型
文件处理模型
两个字段,我一般选择 bge-m3:chatfire/bge-m3:q8_0
和 qwen2
对中文支持友好,这两个都在我本地,运行的慢;其实也没搞清楚有啥区别,然后就是分段,默认就行,选择数据源就解析了,没啥操作;
这星期把Grid导出Excel又重写封装了一次,对于简单的导出干脆就用前台的配置列直接导出,写成了这样
[HttpPost] [ValidateAntiForgeryToken] public async Task<IActionResult> OnExcelDown() { //得到数据 var res = await GetData(); //导出 Grid1.OutputExcel(res); return ResultAsync(); }
重新获取数据还是有必要的,前台的数据不可信,OutputExcel
主要实现了重置列头(按前台Grid
的列头),文件转为byte[]
,保存文件输出服务器路径;这里记录下关键路径
最近不是本地知识库挺火么,我就在笔记本搭了一下,跑不动事真的,才6G现存,32G内存,但是流程摸清楚了,这里记录下,本地模型使用 Ollama
,知识库测试了使用 FastGPT
和 AnythingLLM
,后者比较简单,这里主要记录FastGPT
;
部署 Docker
和 Ollama ,没啥可说的 如果没有GPU 默认跑 CPU