【安装docker,部署dify,安装ollama,部署本地大模型,最终实现dify创建agent,向量知识库】
2026/8/3 13:12:21 网站建设 项目流程

安装docker,部署dify,安装ollama,部署本地大模型,最终实现dify创建agent,向量知识库

  • 安装docker
    • windows需开启虚拟化,安装wsl,(mac不用)
    • 下载安装docker
    • 验证安装成功
    • 配置镜像
  • 下载安装dify
    • dify地址:https://github.com/langgenius/dify
    • 解压并配置,解压后进入docker目录
    • 启动dify服务
  • 安装ollama
    • 部署大模型
    • ollama常用命令
      • 一、模型管理(最常用)
      • 二、模型运行与交互(核心操作)
      • 三、服务器与进程控制
      • 命令 作用 示例
  • 在dify中使用本地模型创建智能体,知识库
    • 配置本地模型
      • 安装供应商
      • 添加供应商模型
    • 创建知识库
      • 部署向量模型,同样可以让ai推荐
      • 添加模型供应商 embding模型
      • 创建知识库
      • 上传文件
      • 下一步后选择高质量和向量检索模式,点击保存
      • 等待完成
    • 创建智能体并使用知识库
      • 创建智能体
      • 选择智能体
      • 添加知识库
      • 发布
      • 效果

安装docker

windows需开启虚拟化,安装wsl,(mac不用)

1,右键任务栏打开任务管理器,定位到性能

2,确认开启虚拟化

下载安装docker

1,docker官网下载地址:https://www.docker.com/products/docker-desktop/

2,下载并安装完成后,windows下如果提示不可用或wsl相关问题,下载wsl

在 PowerShell(管理员模式)中输入:

wsl--install

验证安装成功

docker--version

配置镜像


镜像代码

{"builder":{"gc":{"defaultKeepStorage":"20GB","enabled":true}},"experimental":false,"registry-mirrors":["https://docker.m.daocloud.io","https://docker.1ms.run","https://docker.xuanyuan.me"]}

下载安装dify

dify地址:https://github.com/langgenius/dify

解压并配置,解压后进入docker目录


1,重命名.env.example 成 .env,使用记事本编辑,其他内容不要动,关注这几个配置

env# HTTP portNGINX_PORT=80# SSL settings are only applied when HTTPS_ENABLED is trueNGINX_SSL_PORT=443EXPOSE_NGINX_PORT=80EXPOSE_NGINX_SSL_PORT=443

2,如果你的 80 或 443 端口被占用(如 IIS、Apache、Nginx 等服务),建议修改对外暴露端口:

envEXPOSE_NGINX_PORT=8080EXPOSE_NGINX_SSL_PORT=8443

启动dify服务

1,确保你在 dify/docker 目录下,运行:

dockercompose up-d

2,启动成功后

3,访问dify
http://localhost 或者在配置了端口 http://localhost:8080

安装ollama

下载地址:https://ollama.com/download

安装完毕后,配置模型下载路径

部署大模型

1,可以自己找资料,或将电脑配置发送给ai,让ai推荐可部署模型
(我安装部署了 ollama,电脑配置是 16g内存,8g独立现存,1t硬盘,windows11系统,ollama版本是: 0.32.5,推荐可部署模型)

2,在ollama中获取部署命令
https://ollama.com/library

3,安装效果

ollama常用命令

一、模型管理(最常用)

命令 作用 示例
ollama list 查看本地已下载的所有模型 ollama list
ollama pull <模型名> 从远程仓库下载模型到本地 ollama pull qwen2.5-coder:7b
ollama rm <模型名> 删除本地指定的模型 ollama rm llama3.1:8b
ollama cp <源模型> <新模型名> 复制一个已有模型并重命名(用于创建自定义版本的基础) ollama cp qwen:7b my-qwen

二、模型运行与交互(核心操作)

命令 作用 示例
ollama run <模型名> 运行模型,进入交互式对话命令行 ollama run qwen2.5-coder:7b
ollama run <模型名> “你的问题” 单次查询,运行模型后立即退出,返回结果 ollama run llama3.1:8b “你好”
对话中 /bye 或 Ctrl+D 退出交互式对话模式 在对话中输入 /bye

三、服务器与进程控制

命令 作用 示例
ollama serve 启动Ollama服务端(通常开机自启,无需手动执行) ollama serve
ollama ps 查看当前正在运行的模型进程(显示模型名、显存占用等) ollama ps
ollama stop <模型名> 停止正在运行的某个模型(释放显存) ollama stop qwen:7b
ollama kill 强制终止所有正在运行的模型进程 ollama kill
四、自定义模型与高级操作

命令 作用 示例

ollama create <新模型名> -f ./Modelfile 根据Modelfile配置文件创建自定义模型 ollama create my-coder -f ./Modelfile.txt
ollama show <模型名> 查看模型的详细信息(配置参数、系统提示词等) ollama show llama3.1:8b
ollama pull <模型名> --insecure 从非官方或私有仓库下载模型(需配合环境变量) 一般用不到

在dify中使用本地模型创建智能体,知识库

配置本地模型

安装供应商

1,要选择 ollama,我已经安装过所以可安装列表中没有ollama,红框示例 openAI

添加供应商模型

模型名称 在命令行中 使用ollama 命令查看
基础url是写死的:http://host.docker.internal:11434/ (因为dify是部署在docker中,ollama是部署在windows中,ollama默认端口是 11434)

创建知识库

部署向量模型,同样可以让ai推荐

我之前已经发送过电脑配置,所以直接问:推荐embding模型,部署模型参考上述步骤:部署大模型

添加模型供应商 embding模型

创建知识库

上传文件

下一步后选择高质量和向量检索模式,点击保存

等待完成

创建智能体并使用知识库

创建智能体

选择智能体

添加知识库

发布

效果

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询