编辑
2024-08-25
我当开发
00

最近在学习SemanticKernel ,参考使用 许泽宇GraphRag.Net,遇到一个难题是本地模型无法准确返回格式化内容,比如JSON,但是像 gpt-4o-mini 返回的就比较稳定,又看了其他人的例子和官方的示例,还是有人成功的,所以感觉还是从提示词入手;

最后参考这篇文章Prompt 高级技巧:借助伪代码精准的控制 LLM 的输出结果和定义其执行逻辑 成功让 qwen2-7b 输出了JSON 格式,这里记录下提示词:

编辑
2024-08-05
我当运维
00

通过上次的笔记FastGPT + Ollama本地知识库(一) 环境已经安装完了,今天记录下FastGPT的使用,知识库的搭建,默认端口3000,用户名 root 密码 1234

1. 知识库

知识库创建需要 索引模型 文件处理模型 两个字段,我一般选择 bge-m3:chatfire/bge-m3:q8_0qwen2 对中文支持友好,这两个都在我本地,运行的慢;其实也没搞清楚有啥区别,然后就是分段,默认就行,选择数据源就解析了,没啥操作;

编辑
2024-08-02
我当开发
00

这星期把Grid导出Excel又重写封装了一次,对于简单的导出干脆就用前台的配置列直接导出,写成了这样

[HttpPost] [ValidateAntiForgeryToken] public async Task<IActionResult> OnExcelDown() { //得到数据 var res = await GetData(); //导出 Grid1.OutputExcel(res); return ResultAsync(); }

重新获取数据还是有必要的,前台的数据不可信,OutputExcel 主要实现了重置列头(按前台Grid的列头),文件转为byte[],保存文件输出服务器路径;这里记录下关键路径

编辑
2024-08-02
我当运维
00

最近不是本地知识库挺火么,我就在笔记本搭了一下,跑不动事真的,才6G现存,32G内存,但是流程摸清楚了,这里记录下,本地模型使用 Ollama,知识库测试了使用 FastGPTAnythingLLM,后者比较简单,这里主要记录FastGPT

前提

部署 DockerOllama ,没啥可说的 如果没有GPU 默认跑 CPU

编辑
2024-07-20
我做产品
00

大模型能干什么:文本生成,语言翻译,知识查询,对话系统,文本分类,文本摘要,信息抽取,创意激发,文本润色,代码生成,搭建知识库,业务自动办理

图片.png

再此基础上我使用大模型又扩展了一些,希望可以有所启发,可能明年GPT5.0就要出了,又是一次冲击变革,从现在起应该 尝试使用 或 将AIGC融入到工作;

以下均来自GPT-4o生成