企业官网建设流程全解析

文章主要内容总结

1. 研究背景：检索增强生成（RAG）通过结合外部知识源提升大语言模型（LLMs）的事实准确性，但当检索涉及私人或敏感数据时，易受提取攻击导致机密信息泄露（如逐字复述隐私内容或个人可识别信息PII）。
2. 现有问题：现有防御方法多针对检索阶段（如合成数据生成、加密、后处理等），但解码阶段仍可能成为泄露渠道（如低温或贪婪解码会逐字输出敏感内容）；且部分方法（如差分隐私随机梯度下降DPSGD）需大量训练，难以适配大型LLMs。
3. 提出方法：提出隐私感知解码（Privacy-Aware Decoding, PAD），一种轻量级推理时防御机制，通过以下方式实现隐私保护：
   • 基于置信度的筛选：识别高风险token，有选择性地保护；
   • 高效敏感度估计：最小化不必要的噪声注入；
   • 上下文感知噪声校准：平衡隐私保护与生成质量；
   • 雷尼差分隐私（Rényi Differential Privacy, RDP）会计：追踪累积隐私损失，提供明确的响应级（ε, δ）-DP保证。
4. 实验结果：在HealthCareMagic、ChatDoctor-iCliniq、Enron Mail三个真实数据集上，PAD在减少隐私泄露（如重复隐私内容、语义重叠）的同时保持生成质量（困惑度较低），性能优于现有检索阶段防御和后处理方法。

文章创新点