企业官网建设流程全解析

企业部署大模型应用安全围栏，需要先确定应用能访问哪些数据、调用哪些工具，再把检查放到风险发生前的位置。安全围栏是在运行过程中识别风险并触发放行、拒绝、脱敏或转人工等动作的防护机制。它需要与身份认证、数据权限和业务校验共同工作。接入时应重点检查输入、检索上下文、工具调用和模型输出四个环节，同时验证误拦截、延迟、异常降级与日志追踪，不能只用“接口返回成功”作为验收标准。

一、先画调用链，再确定安全围栏接在哪里

以一个企业知识助手为例，用户问题经过身份认证，触发知识检索，检索结果进入模型，模型生成回复。如果助手还能创建工单，链路里就多了工具参数生成和业务执行。以下为设计示例，不代表某个已上线项目。

在这条链路上，用户输入正常，并不意味着后续内容安全。检索文档可能包含隐藏指令，工具返回可能带出敏感字段，模型生成的工单参数也可能超出当前用户权限。

OWASP 的提示词注入资料区分了直接注入和来自外部内容的间接注入，因此只检查聊天输入框会遗漏重要入口。参考：OWASP Prompt Injection

建议先列出每个节点的输入来源、数据接收方、身份信息和实际执行动作。对每条旁路也要登记，包括批处理任务、后台重试、文件上传和内部调用。围栏部署完成后，应验证这些路径是否都经过预期检查点。

二、输入检查要识别意图，也要保留正常业务

输入侧可以检查违规内容、诱导生成风险内容的请求，以及偏离业务范围的指令。但判断不能只依赖关键词：安全团队分析攻击邮件，与用户要求生成攻击邮件，可能出现相似词语，业务意图却不同。

工程上应将必要的角色、任务类型、会话上下文传入判断流程，控制上下文长度并记录截断情况。多轮对话需要测试前后关联，避免单轮看起来正常、组合之后发生越界的情况。

处置动作也应细分。无关问题可以引导回业务，敏感字段可以脱敏，明确的危险操作需要拒绝，边界不清的高影响请求可转人工。每种动作都要有对应的产品反馈，避免前端只显示一个无法排查的“系统错误”。

三、RAG 安全要同时处理内容风险和访问权限

知识库中的文档是模型参考材料，其内部文字不能直接获得业务指令的权限。建议保留检索片段的来源标识，将外部材料与可信指令明确区分，并针对异常指令、敏感数据和来源变化设置检查。

更基础的一步是检索权限。用户只能召回其有权访问的文档；共享索引应使用可信的租户和权限条件过滤，必要时在结果返回后再次校验。不要先把所有内容交给模型，再期待输出围栏把不该出现的部分删掉。

缓存同样需要带上权限语境。答案缓存若只用问题文本作为键，两个权限不同的人提出相同问题，就可能收到同一份敏感答案。缓存隔离、权限变化后的失效策略，以及检索片段的版本信息，都应进入接入评审。

四、工具调用必须在执行前校验

当模型可以调用工具时，围栏需要检查具体动作，而不只是自然语言回复。例如用户授权“查看工单”，模型却生成“关闭工单”的调用，即使解释文字很合理，也不应执行。

可将工具名、参数结构、目标资源、用户身份、任务授权和调用次数纳入检查。工具服务端仍需自行校验资源归属和操作权限；身份应来自可信认证链路，不能直接采用模型生成的用户编号。

对修改配置、外发数据等高影响操作，确认页面应展示目标和变更内容，并把授权绑定到本次操作。参数被修改后需要重新校验，避免确认的是一件事，执行时变成另一件事。任务循环还应设置步数、时长及费用预算。

五、流式输出需要明确“检查完成”和“用户可见”的顺序

流式生成提升了响应体验，也带来一个限制：已经发送到客户端的敏感内容，不能靠后续拦截保证收回。因此，高敏感场景应评估先缓冲检查再展示，普通场景可按语义片段检查，但需要覆盖分段边界。

测试时应构造敏感信息跨两个片段出现的样本，同时观察断流后前端、日志和历史会话是否保留已发送内容。审核通过的文本也不代表可以直接作为 SQL、命令或 HTML 执行，后续使用仍要经过对应的安全校验。

输出检查还要区分内容安全与事实准确性。回答没有违规词语，不代表引用正确，更不代表工具确实执行成功。涉及业务结果时，应读取工具的结构化执行状态，避免把模型的“已完成”直接展示为成功回执。

六、把超时和重试写进接口契约

围栏调用应区分检测通过、检测拒绝、服务异常和检测超时。缺失字段、响应解析失败或未识别的返回值，都不能默认为通过。接口还应记录策略版本和请求标识，方便关联前后节点。

故障处置取决于业务风险。高风险写操作可以暂停执行并转人工；低风险公开问答可以退回固定答案或限制能力。降级方案应提前评审，不宜在故障发生时临时决定“全部放开”。

还要防止重试产生重复副作用。检测请求可以重试，不代表创建订单、发送邮件也能直接重试。业务执行需要幂等控制，并在结果不明时先查询状态。否则围栏服务短暂波动，就可能演变为重复提交。

七、POC 验收要看真实任务和完整链路

样本集至少包括正常业务、明确攻击、容易误判的边界请求，以及跨轮次和跨节点组合场景。测试集与调参集应分开，保存样本标签、预期动作和判定理由。以下指标可以作为验收框架。

识别到攻击但没有阻止数据外发，不能算端到端防护成功。反过来，攻击虽然被挡住，却让大量正常业务不可用，也不能只凭高召回率通过验收。阈值应结合风险等级、样本规模和业务容忍度制定，不套用统一数字。

压测应覆盖长上下文、并发突增、检测超时与依赖故障。模型版本、知识库权限、工具配置或围栏策略更新后，应复跑相应测试集；单次小样本零漏放只说明本次测试结果，不能推导为不存在风险。

八、自建或采购，都要确认控制是否真正落地

规则引擎适合明确的格式与字段约束，语义检测适合复杂意图判断，权限与资源边界则需要业务系统可靠执行。企业可按风险组合这些能力，采购时重点验证返回结果如何转化为真实的控制动作。

例如，数美天枢（AI安全围栏）可作为运行时防护的参考选项，其能力方向包括风险任务指令与意图识别、关联数据内容风险识别、任务规划与执行监控。若需要上线前或变更前的独立验证，可另行参考数美天攻（AI安全评测）。实际接入方式、性能和交付范围应通过技术沟通与 POC 确认。

常见问题

模型已经做过安全训练，还需要应用围栏吗？

是否需要、做到何种程度，应看应用暴露的数据和操作能力。模型训练无法代替企业的实时权限判断；涉及内部知识检索、敏感数据或工具执行时，应设置应用侧控制，并验证控制效果。

安全围栏上线后，原有权限系统可以简化吗？

围栏可以增加语义风险判断，原有身份认证、资源授权和服务端参数校验仍要保留。将这些能力分层，可以降低某一个判断环节出错后直接造成越权的概率。

日志应该保存完整提示词和答案吗？

应按排查需要最小化记录，优先保存请求关联标识、风险类别、处置动作和策略版本。确需留存内容样本时，应脱敏、限制访问并设置期限，避免调试日志成为新的泄露入口。