- 安全
- Agent 平台
大模型防火墙:提示词注入与 RAG 投毒的实际防护
作者:Apolla 交付团队阅读约 3 分钟
结论先行
企业 Agent 的三类主要攻击面是提示词注入、RAG 知识库投毒与系统提示词泄露。有效防护需要三层:输入侧的大模型防火墙实时检测与阻断、工具调用的白名单与参数校验、输出侧的内容审核,同时对 RAG 写入做来源校验。四组件数据保护架构(PII 脱敏、合成数据替换、外部意图处理、返回重组)可以让云端模型在不接触真实数据的前提下处理敏感业务。
典型攻击面
- 提示词直接攻击:注入幻觉、反向诱导,让模型忽略系统指令
- 三方投毒攻击:向 RAG 知识库写入含恶意指令的文档、篡改工具返回结果
- 系统提示词泄露:诱导模型输出系统提示,暴露业务规则与工具定义
- 外部数据交互:请求中携带敏感客户信息发往云端模型
- 知识库破坏:越权访问、窃取、篡改
第一层:输入侧防火墙
在用户输入到达模型之前做检测:基于规则与分类模型识别注入模式(角色扮演诱导、指令覆盖、编码绕过),命中即阻断并记录。对 RAG 检索到的片段同样过一遍检测,因为投毒文档中的指令会通过检索结果进入上下文。
第二层:工具调用护栏
工具调用是注入攻击造成实际损害的通道。每个工具声明允许的参数范围与调用条件,调用前做参数校验;高风险操作(改数据、发消息、转账类)要求二次确认或人工审批;工具返回结果视为不可信输入,再过一次检测。
第三层:输出侧审核
对模型输出做敏感信息检测(身份证、银行卡、内部编号)、系统提示词片段匹配与合规性检查。命中时脱敏或拦截,并把事件计入风险指标。
RAG 投毒的防护在写入侧
知识库的写入要做来源校验与内容检测。允许任何人上传文档到共享知识库,等于给攻击者留了一条直达模型上下文的通道。
四组件数据保护架构
当业务需要使用云端模型但数据不能出域时,四个组件串成一条链:01 PII 脱敏,出防火墙前剥离姓名、账号、金额等敏感信息;02 合成数据替换,外部处理时用假值替换真值,保持数据结构与语义;03 外部意图处理,云端模型仅识别意图、选择流程,不接触真实数据;04 返回重组,在内网把真值重新插回响应,用户看到的是完整结果。
- 3层
- 输入 / 工具调用 / 输出
- 4组件
- 数据保护架构
- 180天
- 审计日志默认保留期,可配至 3 年
Apolla 安全与私有化方案
合规对照
等保三级通过私有化部署与安全加固满足;ISO 27001 对齐信息安全管理体系;GDPR 覆盖数据主体权利、DPA 条款与 EU 区域部署;PIPL 要求境内数据本地化存储、最小必要原则与单独同意。安全不是最后加的一道闸,而是贯穿全层的设计约束。