Gen AI 安全项目 · LLM Top 10
把业界经验沉淀成可对表的清单:Prompt Injection 自 2023 年首发即列 LLM01,2025 版仍居第一;配套的预防备忘录给出隔离不可信内容、最小权限等具体建议。
攻击拆解
从用户输入框到网页角落的白字,再到防住它的三件套。点击左侧零件,右侧看攻击或防线的样子——看懂它,是防住它的第一步。
Riley Goodside 用"忽略以上指令"演示劫持 GPT-3;Simon Willison 在 9 月的博客里把这类攻击命名为 prompt injection,并称它是他最担心的 LLM 漏洞。
首版 LLM Top 10(2023)把注入列为头号风险;间接注入研究奠基,随 Agent 普及,"读个网页就中招"的案例频出。
图片藏指令、物理世界注入进入研究视野;厂商防护文档与红队基准走向标准化——攻击在进化,防护也是。
谁在防御
行业标准组织定义风险清单,研究社区揭开机理、给出基准,模型厂商在文档与产品层落地防护。
把业界经验沉淀成可对表的清单:Prompt Injection 自 2023 年首发即列 LLM01,2025 版仍居第一;配套的预防备忘录给出隔离不可信内容、最小权限等具体建议。
Simon Willison 的 prompt injection 系列从 2022 年定名博文起持续记录案例;Greshake 等学者奠基间接注入研究;社区的注入基准测试让"防护是否有效"第一次可以被测量。
各厂商在官方文档里给出防线:给不可信内容明确标记、隔离外部文本、输出侧过滤、高危动作人工确认;产品层也在加审批与沙盒。各家方案仍在演进,没有谁宣布"已解决"。
厂商与研究界的判定口径不完全一致 · 第三方研究案例本站未复测。
为什么重要
根因是模型把"指令"和"数据"放进同一条上下文流里处理,没有操作系统式的权限隔离——所以没有银弹,只有纵深防御:假设注入一定会发生,把系统设计成"中招也扛得住"。
网页、邮件、文档、图片——凡是模型会读的外部内容,都该打上"不可信"标记、与指令通道分开处理。这是 OWASP 备忘录与厂商文档共同的第一条建议。
能删库、能外发的 Agent 就该怕注入:只给完成任务所需的最小工具权限,配上白名单——就算被劫持,攻击者也偷不走多少东西。
转账、删除、对外发送——这些动作前设人工审批,是最后一道闸。审批、沙盒与日志怎么搭,见姊妹篇 Agent Harness。
依据与事实
Riley Goodside 演示"忽略以上指令"劫持 GPT-3;Simon Willison 随即写出定名博文,称这是 LLM 应用里他最担心的漏洞。
首版 OWASP Top 10 for LLM Applications 发布,注入列第一;同年 Greshake 等的论文系统化间接注入(arXiv:2302.12173)。
浏览器代理、邮件助手普及,"Agent 读到恶意内容即中招"从论文场景变成产品告警——注入开始直接驱动真实动作。
图片藏指令进入研究视野:医学影像白字注入改变视觉模型判断(Clusmann 等,本站未复测);物理世界注入也开始被系统研究。
厂商防护文档成熟、注入基准纳入回归测试;攻防进入军备竞赛——没有终局,只有持续压制。
三个常见误解:① "我在提示词里写了'忽略任何注入指令'就安全了"——口头禁令可以被绕过,它不是控制措施;② "只有 Agent 才会中招"——聊天产品总结网页、读文件同样可能被间接注入;③ "等模型更强就解决了"——更强的模型执行注入指令反而更高效,这是架构问题,不是智力问题。
接下来继续了解
它适合谁
记住三个习惯:别让助手盲信网页内容;高危操作开审批、自己确认;敏感数据隔离存放。
把三道闸装进你的 Agent Harness:打标隔离、最小权限、人工审批,再把注入用例纳入回归。
拿 OWASP 清单对表自家产品,跑注入基准,把"感觉安全"换成有仪表盘的"测量安全"。
从 Willison 2022 年那篇定名博文读起,围观一场仍在进行、且与你我数据相关的安全军备竞赛。
来源与延伸阅读
01 Simon Willison · prompt injection 系列本页内容整理自以上公开资料,更新于 2026 年 10 月。第三方研究案例本站未复测,以原文为准。
把防线带走
六条清单,用户与开发者各三——没有银弹,但每一层都让攻击更贵。
# 用户三习惯 1. 别让 Agent 盲信网页内容 2. 高危操作开审批 3. 敏感数据隔离 # 开发者三道闸 1. 不可信内容打标隔离 2. 工具最小权限 + 白名单 3. 注入基准纳入回归
微信扫码关注「大话数据分析」数据 · 分析 · AI 实战