1.AI 应用
AI 应用是指将 AI 大模型技术落地到具体的业务场景中,用来解决实际问题的产品或服务
1.1 大模型部署
大模型部署有以下 3 种方式:
1.本地部署:将大模型完整下载,运行在自己的服务器 / 本地GPU机器上
优点:
- 数据完全留在内网,数据隐私安全性最高,敏感业务首选
- 无网络调用依赖,内网离线可用,响应延迟可控
- 自主可控,可深度修改模型权重,做微调,二次开发
- 长期成本低
缺点:
- 前期硬件成本高
- 需长期维护硬件
- 模型性能受硬件规格限制
2.官方开放 API :调用大模型厂商提供的在线接口,只传请求,模型跑在厂商服务器
优点:
- 上手快,无需本地部署服务器,只需要联网即可调用
缺点:
- 用户数据要传给第三方服务商,敏感数据有泄露风险
- 模型本身无法修改,只能调用产商提供模型
3.云服务平台:云厂商提供的一站式大模型平台(如火山方舟,阿里云百炼),在云端租用算力,可选择公有云推理,也可部署私有实例
优点:
- 按需租用 GPU 资源,无需一次性购买硬件,也没有后期硬件维护成本
- 平台集成全套工具:模型一键部署,微调,流量监控
- 既可以调用现成 API ,也可以上传私有模型做私有化推理
缺点:
- 持续云资源租用成本
- 数据跑在云厂商机房,需要做好云侧权限隔离
1.1.1 本地部署
Ollama 是一个在本地运行,管理大语言模型的工具,它将复杂的模型下载、量化、环境配置和推理过程全部封装成简单的命令行操作,让普通用户也能在个人电脑上轻松运行 Llama、Qwen、DeepSeek 等上百种开源大模型。
关于Ollama具体内容可以看文档:Ollama 本地部署完整指南(2026 最新版)_ollama本地部署-CSDN博客
1.1.2 官方开放 API
主流的大模型官方都提供了开放API,无需部署,就可以直接调用访问
什么是API?一文读懂它的神奇之处-CSDN博客
1.2 大模型调用
1.2.1 网络基础知识
IP 地址:设备在互联网中的地址,每一个连入网络的设备都有一个自己的 IP 地址
- IPv4地址:32位二进制
- IPv6地址:128位二进制
域名:是一串用点分隔的英文字母组成。IP地址不便于记忆,因此设计出了域名,并通过 DNS(域名系统)来将域名和 IP 地址相互映射,便于记忆和访问
端口号:整数,取值范围 0-65535,它用来标识计算机设备中的运行中的进程
注意:HTTP协议默认服务器端口号为 80,HTTPS协议默认服务器端口号为 443
小结:
网络模型:
- OSI网络模型
- TCP / IP网络模型
目前主流使用 TCP/IP 网络模型
HTTP协议:Hyper Text Transfer Protocol,超文本传输协议,规定了客户端和服务器之间数据传输的规则。(只有在请求及响应中都遵循了统一的规则,服务端才能读懂客户端发来的请求,客户端才能解析服务端响应的结果)
特点:
- 基于文本的协议:请求和响应部分的协议内容为文本格式,底层通过TCP协议传输,稳定性强
- 基于请求-响应模型:一次请求对应一次响应,必须由客户端先发起请求,服务端才会返回响应
- 无状态:服务端不会记忆与客户端的历史交互信息,每次请求-响应都是独立的
HTTP协议请求数据格式
1.请求方式:
- GET:请求参数在请求行中,没有请求体。比如:/api/courses?name=Python&status=1。GET请求请求参数大小在浏览器中是有限制的
- POST:请求参数在请求体中。POST请求大小是没有限制的
HTTP协议响应数据格式
1.2.2 API fox测试
API fox是一款API设计,开发,测试的一体化协作平台,是项目开发中进行API接口测试的神器
对于大模型提供的API接口,其请求方式限定为 POST 请求
json格式
json(JavaScript Object Notation)是前端的一种对象表示方法。表示形式类似于 Python 中的字典,都是 key : value 这种形式,不过所有的 key 都必须用双引号引起来,值可以是任意类型:
对象:用{ }表示,{ }之间是键值对形式,键是字符串,值可以是任意其他类型
数字:整数和小数
字符串:用 " "引起来,例如 "jack"
布尔:有两种值:true 或 false(小写)
列表:用 [ ] 表示,[ ] 中是列表的元素,多个元素以 ,分割