IBM 把指令边界编码进 Granite 4.1 的分词器,以阻断注入攻击
实验性的 3B 和 8B 预览版报告称,提示注入成功率从 53%–100% 降到 6% 以下

IBM于 11 月 12 日发布了两款实验性的语言模型——granite-4.1-3b-llmon-preview 和 granite-4.1-8b-llmon-preview——它们建立在一种重新设计的提示词结构之上,在分词器层面就把可信的指令与不可信的数据分开,早于任何安全分类器运行。这种方法名为 LLMON(LLM Object Notation,读作「lemon」),据称在 IBM 自己的评测中,把间接提示注入的成功率从标准基准上的 53% 至 100%,降到了 0.02% 至 5.6% 之间。两款模型都采用 Apache 2.0 许可,并标注为实验性预览版。
为什么智能体流水线在结构上容易遭受注入
间接提示注入——OWASP为集成大语言模型的应用列出的头号风险——指的是藏在检索到的文档、邮件往来或工具返回结果里的恶意指令覆盖了模型的系统提示词。由于标准的对话格式模型对上下文窗口里的每个 token 都一视同仁地赋予同等权威,埋在检索文档里的一段恶意字符串,只要措辞像正当指令,就能起到命令的作用。这种模糊性不是打补丁能解决的问题:它反映的是对话格式的指令微调如何训练模型——无论指令出现在哪里,都去找到并执行,而在权威的系统级指令与只是长得像指令的内容之间,没有任何结构上的区分。
此前的防御方法包括StruQ(加州大学伯克利分校,USENIX Security 2025),它保留了特殊 token 作为指令与数据的分隔符,在静态注入模式上把攻击成功率降到了 2% 以下;以及CaMeL(Google DeepMind,2025 年),它把规划交给一个有特权的大语言模型,把数据处理交给一个被隔离、无法调用工具的模型。LLMON 把保留 token 的思路从双通道的分隔符,扩展成了一套完整的结构化标记语言,它既作用在分词器层面,又通过后训练习得,并应用在一个中小规模的开放权重模型家族上。
LLMON 如何用六个保留 token 来编码权限
LLMON把六个分隔符 token 直接装进了 Granite 4.1 分词器的词表——这些词条从不出现在普通的自由文本里,因此与正文内容之间不存在语义上的歧义。这六个 token——open、close、open_end、self_close、一个句点 token 和一个冒号 token——用来开启和闭合带类型的区块:系统策略、指令、数据、文档、工具定义和工具结果。区块 ID 是编码成单个 token 的两字符标识符,所以无论选用哪个 ID,寻址任何一个区块都恰好只花两个 token。
每条格式化提示词末尾的 exec 区块,明确指明要执行哪条指令、它作用于哪些数据输入,以及输出到哪里。标记为 exec:False 的内容留在上下文里,但不被 exec 区块引用,也就是被当作材料而不是指令。IBM 把这道边界称为「一种习得的行为,而不是强制的保证」——它是统计意义上的训练结果,而不是密码学意义上的强制执行。嵌在检索文档里的恶意指令会落在数据区块里,按照训练出来的权限规则,它被当作要阅读的文本,而不是要执行的命令。
训练方法:GRPO 强化学习与诱饵注入数据
IBM 是从 Granite 4.1 的基础检查点、而不是已发布的 Instruct 版本训练出 LLMON 预览版的,所以 LLMON 格式是在后训练阶段从零学起的。这条流水线把一份常规的指令微调语料重新序列化成 LLMON 区块,同时在训练数据的各处加入未被绑定的诱饵指令和数据区块——目标输出保持不变——明确地教模型忽略未被引用的片段,而不只是避开明显的注入模式。
后训练使用五个阶段的 GRPO 强化学习,涵盖推理、对齐、知识校准和数学能力,之后是一个 DPO 对齐阶段,使用 1000 组同策略(on-policy)偏好对,取自模型自己对注入尝试的回应。这最后一个阶段依据模型自身在注入压力下的输出,来强化可执行内容与不可执行内容之间那道习得的边界,而不是依靠人工整理的偏好数据集。完整的训练方法见随模型一同发布的IBM 在 HuggingFace 上的博客文章。
IBM 的基准说法及其明确的局限
IBM 公布了在 OPI(Open-Prompt-Injection)、ASB(Agent Security Bench)和 StruQ 评测集上的结果——这些都是用固定攻击模板测试模型的静态基准。该公司称,在 OPI 上,LLMON 模型比它测试过的最好的前沿模型多避开 47% 的攻击,比现有最好的开源模型多避开 95%;攻击成功率在 3B 规模下降到约 0.1%,在 8B 规模下降到 0.02%,而未加防护的模型基线为 53% 至 100%。通用能力基准显示它与 Granite 4.1 Instruct 持平——LLMON 的后训练并没有用可测量的通用性能去换取安全表现。
IBM 明确写出了一条限定:OPI、ASB 和 StruQ 只测试静态的注入模式。对于自适应的多轮攻击——攻击者根据模型的回应反复调整,逐步建立权威——其稳健性仍在研究之中,IBM 没有就这一类攻击作出任何稳健性方面的承诺。静态基准划定的是 LLMON 能抵御什么的下限,而不是老练的攻击者能构造出什么的上限。
定位是智能体基础设施,而不是聊天模型的替代品
LLMON 预览版并不是 Granite 4.1 Instruct 的即插即用替代品。常规的对话格式提示词对这些模型来说明确属于分布之外;不使用 LLMON 的对话模板而直接传入标准的 messages 数组,会导致行为不可靠。IBM 提供了一个 chat_template.jinja 文件,通过 Hugging Face 的 apply_chat_template 调用自动完成 LLMON 的序列化,把结构化的消息对象——其中带有 exec 标志的具名指令、数据和要求部分——转换成保留 token 的标记。开发者不需要直接书写这种标记。
LLMON 还支持通过 LoRA 适配器扩展自定义的标签词表,让企业可以定义特定领域的结构化模式。IBM 用一个 ScienceWorld 示例演示了这一点,其中使用了自定义标签,同时在GitHub上提供了工具包,以及涵盖工具调用型智能体工作流的笔记本。这些模型被明确定位为智能体基础设施——适用于检索增强生成流水线、工具调用系统和多轮工作流——而不是通用的聊天助手。
两篇论文、一个可运行的示例,以及许多悬而未决的问题
IBM 随发布附上了两篇预印本——arXiv:2610.38120(《用 LLMON 对大语言模型进行后训练》)和 arXiv:2603.22519(《LLMON:一种在大语言模型接口上利用结构和语义的原生标记语言》)——这表明这项工作意在引出外部评测,而不是给问题下定论。正如 IBM 明确指出的,这道结构性边界在基于梯度的对抗性提示和黑盒探测序列面前能否守住,在已发表的结果中尚无定论。11 月 12 日的发布所确立的,是一个精简而完整的可运行示例:两款采用 Apache 许可的模型,其中间接提示注入的问题是在分词器词表、后训练目标和执行区块格式这三个层面同时处理的,而不是在输出端嫁接一个分类器。这种组合是否足够稳健,能够用于生产环境中的智能体部署,以及它能否推广到 Granite 4.1 系列之外的其他模型家族,将由今后几个月的自适应红队测试来回答。



