安装docker,部署dify,安装ollama,部署本地大模型,最终实现dify创建agent,向量知识库
- 安装docker
- windows需开启虚拟化,安装wsl,(mac不用)
- 下载安装docker
- 验证安装成功
- 配置镜像
- 下载安装dify
- dify地址:https://github.com/langgenius/dify
- 解压并配置,解压后进入docker目录
- 启动dify服务
- 安装ollama
- 部署大模型
- ollama常用命令
- 一、模型管理(最常用)
- 二、模型运行与交互(核心操作)
- 三、服务器与进程控制
- 命令 作用 示例
- 在dify中使用本地模型创建智能体,知识库
- 配置本地模型
- 安装供应商
- 添加供应商模型
- 创建知识库
- 部署向量模型,同样可以让ai推荐
- 添加模型供应商 embding模型
- 创建知识库
- 上传文件
- 下一步后选择高质量和向量检索模式,点击保存
- 等待完成
- 创建智能体并使用知识库
- 创建智能体
- 选择智能体
- 添加知识库
- 发布
- 效果
安装docker
windows需开启虚拟化,安装wsl,(mac不用)
1,右键任务栏打开任务管理器,定位到性能
2,确认开启虚拟化
下载安装docker
1,docker官网下载地址:https://www.docker.com/products/docker-desktop/
2,下载并安装完成后,windows下如果提示不可用或wsl相关问题,下载wsl
在 PowerShell(管理员模式)中输入:
wsl--install验证安装成功
docker--version配置镜像
镜像代码
{"builder":{"gc":{"defaultKeepStorage":"20GB","enabled":true}},"experimental":false,"registry-mirrors":["https://docker.m.daocloud.io","https://docker.1ms.run","https://docker.xuanyuan.me"]}下载安装dify
dify地址:https://github.com/langgenius/dify
解压并配置,解压后进入docker目录
1,重命名.env.example 成 .env,使用记事本编辑,其他内容不要动,关注这几个配置
env# HTTP portNGINX_PORT=80# SSL settings are only applied when HTTPS_ENABLED is trueNGINX_SSL_PORT=443EXPOSE_NGINX_PORT=80EXPOSE_NGINX_SSL_PORT=4432,如果你的 80 或 443 端口被占用(如 IIS、Apache、Nginx 等服务),建议修改对外暴露端口:
envEXPOSE_NGINX_PORT=8080EXPOSE_NGINX_SSL_PORT=8443启动dify服务
1,确保你在 dify/docker 目录下,运行:
dockercompose up-d2,启动成功后
3,访问dify
http://localhost 或者在配置了端口 http://localhost:8080
安装ollama
下载地址:https://ollama.com/download
安装完毕后,配置模型下载路径
部署大模型
1,可以自己找资料,或将电脑配置发送给ai,让ai推荐可部署模型
(我安装部署了 ollama,电脑配置是 16g内存,8g独立现存,1t硬盘,windows11系统,ollama版本是: 0.32.5,推荐可部署模型)
2,在ollama中获取部署命令
https://ollama.com/library
3,安装效果
ollama常用命令
一、模型管理(最常用)
命令 作用 示例
ollama list 查看本地已下载的所有模型 ollama list
ollama pull <模型名> 从远程仓库下载模型到本地 ollama pull qwen2.5-coder:7b
ollama rm <模型名> 删除本地指定的模型 ollama rm llama3.1:8b
ollama cp <源模型> <新模型名> 复制一个已有模型并重命名(用于创建自定义版本的基础) ollama cp qwen:7b my-qwen
二、模型运行与交互(核心操作)
命令 作用 示例
ollama run <模型名> 运行模型,进入交互式对话命令行 ollama run qwen2.5-coder:7b
ollama run <模型名> “你的问题” 单次查询,运行模型后立即退出,返回结果 ollama run llama3.1:8b “你好”
对话中 /bye 或 Ctrl+D 退出交互式对话模式 在对话中输入 /bye
三、服务器与进程控制
命令 作用 示例
ollama serve 启动Ollama服务端(通常开机自启,无需手动执行) ollama serve
ollama ps 查看当前正在运行的模型进程(显示模型名、显存占用等) ollama ps
ollama stop <模型名> 停止正在运行的某个模型(释放显存) ollama stop qwen:7b
ollama kill 强制终止所有正在运行的模型进程 ollama kill
四、自定义模型与高级操作
命令 作用 示例
ollama create <新模型名> -f ./Modelfile 根据Modelfile配置文件创建自定义模型 ollama create my-coder -f ./Modelfile.txt
ollama show <模型名> 查看模型的详细信息(配置参数、系统提示词等) ollama show llama3.1:8b
ollama pull <模型名> --insecure 从非官方或私有仓库下载模型(需配合环境变量) 一般用不到
在dify中使用本地模型创建智能体,知识库
配置本地模型
安装供应商
1,要选择 ollama,我已经安装过所以可安装列表中没有ollama,红框示例 openAI
添加供应商模型
模型名称 在命令行中 使用ollama 命令查看
基础url是写死的:http://host.docker.internal:11434/ (因为dify是部署在docker中,ollama是部署在windows中,ollama默认端口是 11434)
创建知识库
部署向量模型,同样可以让ai推荐
我之前已经发送过电脑配置,所以直接问:推荐embding模型,部署模型参考上述步骤:部署大模型