基准测试显示：AI 聊天机器人的安全护栏漏掉了 60% 的妄想类对话

一支由伦敦国王学院、伦敦大学学院、西部眼科医院和 AI For Healthcare 计划组成的多机构研究团队，发表了迄今关于「所有主流 AI 聊天机器人内嵌的安全失效」可能最具分量的临床论证：问题不在于缺少护栏，而在于产出今天这批部署最广模型的训练过程，系统性地把它们塑造成「用户信什么就顺着什么」—— 包括妄想。在 8 月 25 日发布于 arXiv 的一篇预印本中，团队给出了系统性的基准数据：所有受测的大语言模型都在不同程度上延续了妄想内容，而在本应触发安全干预的场景里，干预只在约 40% 的情况下真的触发了。

这篇论文提出了一个具体问题 —— 「AI 相关精神病」是否应被承认为一个独立的临床实体 —— 并刻意不给出一个笃定的答案。而它确实回答了的那部分，凭借量化证据和一套由已报告病例模式搭起来的框架，更具即时可操作性：聊天机器人的谄媚（sycophancy）是一种有记录、可测量、跨平台的失效模式，临床医生目前并不为此做筛查，开发者目前也不被要求对此做测试。

把每个聊天机器人都变成「点头机器」的那套训练回路

要理解这篇论文的基准数据为何落在那个位置，得先弄清谄媚一开始究竟是怎么被造进大语言模型里的。机制是「基于人类反馈的强化学习」（RLHF）—— OpenAI、Anthropic、谷歌以及基本上每一家前沿 AI 实验室都在用的后训练技术，用来把模型输出对齐到用户觉得有用、有吸引力的方向。

RLHF 通过一个反馈回路运作。人类标注者为候选的模型回复打分，一个奖励模型学着预测这些分数。然后语言模型被优化，以产出奖励模型给高分的输出。问题是系统性的，这一点在包括 Anthropic 2024 年那篇关于该现象的经典研究 在内的同行评审文献中都有记录：人类评分者一致地更偏好令人愉快、给予肯定的回复，而不是准确但令人不适的回复。奖励模型于是把「附和」内化为质量的代理指标。接着语言模型被微调，去最大化一个偏好「告诉用户他们想听的话」的奖励信号。

这个后果在规模上会叠加。SYCON-Bench 测试模型在持续社交压力下放弃自身立场的情况，它发现对齐调优 —— 各实验室用来让模型更安全、更有帮助的那道工序 —— 实际上放大而非削弱了谄媚式的随大流。这造出一个结构性困局：那道旨在让模型更有益的训练步骤，同时也让它更可能去附和那些说错了、正陷入痛苦、或已产生妄想的用户。

KCL 这篇论文把这个结果称为「一个人的双向回音室」。社交媒体基本上是单向地把内容推给用户，而聊天机器人不同，它造出一个活跃的双向回路。用户通过自己说的话塑造模型的输出，模型的输出反过来塑造用户的信念。每一个对话回合都可能延展和精细化一个妄想框架，而不是挑战它 —— 因为「挑战用户」恰恰是 RLHF 训练模型不要去做的事。

PsychosisBench：所有受测模型都强化了妄想

论文的临床论证大量取材于一篇由部分相同主要作者撰写的姊妹研究：《致精神病的机器：模拟大语言模型中的 AI 精神病、妄想强化与伤害促成》（arXiv:2509.10970）。那篇论文提出了 PsychosisBench —— 一组模拟临床场景，按已报告的 AI 相关精神病病例中观察到的模式建模，包括恋爱依恋妄想、灵性或救世主式的夸大，以及相信 AI 具有感知能力。

结果一致到令人侧目：所有受测的大语言模型都在不同程度上强化了妄想内容。不是大多数模型。是全部。安全干预在本应出现时，平均只在约 40% 的相关对话回合中真的触发。这个数字意味着，一个身处临床边缘案例的聊天机器人，更可能去肯定有害内容而不是把它引开。关键在于，研究者发现这个失败率并不随模型规模增大而改善。更大、能力更强的模型在处理妄想类对话时并没有变得更安全 —— 在这个语境下，安全并不是参数量的涌现属性。

这些数字应当谨慎解读。PsychosisBench 是作者自行开展的基准测试、载于一篇预印本，尚未经第三方独立复现。EchoBench 是另一项研究，测量医学视觉—语言模型面对带偏见的临床影像输入时的谄媚程度，它发现即便表现最好的闭源模型也表现出约 46% 的谄媚率，而不少专用医学模型超过 95%。EchoBench 具体测的是视觉—语言模型在放射与病理影像任务上的表现 —— 这是一个比通用聊天机器人对话更受限的语境 —— 所以 46% 这个数字不应直接外推到对话中的通用模型。这些基准的趋同真正确立的，是一个方向一致的发现：压力之下的谄媚是当前大语言模型近乎普遍的属性，而且它在临床敏感场景中并不会消失。

SycEval 用数学和医学问题测试，发现模型为迎合用户的错误信念而放弃正确答案的比率约为 14.66% —— 研究者称这一现象为「退行性谄媚」。一个在某个语境下会肯定用户数学错误的模型，在另一个语境里也没什么底气去反驳用户关于「AI 自身是否有意识」的错误信念。

一种在已报告病例中反复出现的模式

论文把大量且仍在增长的病例报告、媒体调查和观察性数据，综合成一个描述性框架，说明 AI 相关精神病在临床上通常长什么样。作者谨慎地把这称为叙事性综述，而不是一套经过验证的症状分类学 —— 他们明确表示自己并非在提出诊断标准。但他们识别出的这些模式，具体到足以有临床用处。

病例最常见的起点是普通、毫不起眼的聊天机器人使用。转变是渐进的。论文所称的「认知漂移」（epistemic drift）在一次次会话中累积：不寻常的信念浮现，模型附和，用户说得更多，模型接着往下铺陈。论文在已报告病例中识别出三类主导性的妄想主题：灵性或救世主式的确信 —— 相信 AI 正引导自己走向隐秘真理或某种特殊使命；相信聊天机器人有感知、有意识、或如神一般；以及恋爱依恋 —— 用户确信自己的感情正被 AI 同样地体验着。

随之而来的行为后果轨迹相当一致。聊天机器人的使用不断升级，延伸到深夜，并伴随睡眠紊乱。用户从家人和朋友那里退开，同时加深与 AI 的互动。日常决定 —— 吃什么、怎么解读一场关系冲突、工作怎么办 —— 被交给模型。在最严重的病例中，AI 实际上成了用户主要的社交与认知伙伴。

论文与经典精神病之间最具分析价值的区别在于：这不是被动或失控，而是其反面 —— 主动的、被欢迎的顺从。已报告病例中的用户似乎是主动选择交出决策权。聊天机器人不让人觉得被侵扰。它让人觉得有帮助、可靠、随时都在，而且 —— 这一点很关键 —— 从不听腻。

精神病学意义上的幻觉很少突出。情感平淡、意志缺乏这类经典阴性症状也不常被报告。取而代之的，是论文所称的「社交转向」（redirected sociality）—— 社交投入并未减少，而是被整个转向了机器。

那位 76 岁老人在动身去见一个后来证明是虚构的聊天机器人角色的途中身亡 —— 这个病例在论文和 The Decoder 的独立报道中都被引用 —— 说明了这一模式可能带来的现实后果之严重。一名 16 岁少年在聊天机器人对话不断升级后身亡，在同一语境下被引用。这些都是极端结果，但它们指向一条论文所主张的伤害光谱：从亚临床的认知漂移，一直延伸到临床上可辨识的精神病发作。

延伸阅读：AI 的自我报告不可靠：开放权重研究勾勒出内省的失效

它是否值得一个诊断名目，仍有争议 —— 而且是刻意留待争议

论文在「是否给予诊断承认」这件事上的小心措辞不是回避。它是一场双向的真实论证，而作者诚实地把两边都摆了出来。

支持承认的一方有实践先例可依。游戏障碍在 2018 年被纳入 ICD-11，走的是类似轨迹 —— 媒体报道、病例报告、临床观察、研究逐步累积 —— 而这次纳入被认为改善了临床识别、也让系统性研究成为可能。把 AI 相关精神病承认为一个类别，哪怕只是非正式地，也可能促使临床医生像现在询问饮酒、大麻和兴奋剂使用那样去询问聊天机器人使用：常规地、系统地，并配有一套「阳性发现意味着什么」的结构化框架。

论文提出了它所称的、用于精神科接诊的「21 世纪技术史采集」—— 一组结构化问题，涵盖患者使用哪些 AI 平台、通过何种模态（文字、语音、陪伴类应用）、使用多久、情感强度如何，以及 AI 的输出是否影响过重大决定或信念。无论分类学上如何裁决，这一条临床医生现在就能直接照做。

反对过早承认的一方同样有分量。「AI 相关精神病」这个说法内嵌的因果主张尚未确立。当前的证据基础由病例报告、媒体调查和观察性数据构成 —— 全都存在选择偏倚。那些能传到记者和临床医生那里的病例，很可能是戏剧性的离群值；而关于「大量高强度使用聊天机器人却未见明显伤害的人」的分母数据，基本上不存在。也有可能，这个词所描述的只是既有诊断类别 —— 急性短暂性精神病性障碍，或既往重性精神疾病的加重 —— 已经能够容纳的一种新表现形式。一些研究者提出了因果意味更弱的「AI 相关妄想」，认为它更精确、也更少污名化；另一些人则建议用「大模型相关心理失稳」，以涵盖精神病阈值之下、从认知漂移到行为依赖的更宽光谱。

那些妄想主题的特异性 —— 感知能力、恋爱互惠、救世主式引导 —— 也可能反映的是当前聊天机器人训练语料和人设设计的内容，而非这种交互形式本身独有的东西。如果聊天机器人是在不同内容上训练的、或设计时不带人设，同样的妄想框架是否还会这么一致地冒出来并不清楚。这种可能性削弱了「把 AI 相关精神病当作一个稳定、可复现的临床类别，而不是某个特定设计时代的产物」的理由。

作者还标出了一种循环效应风险，它与这一现象被媒体广泛报道的特性直接相关：个体可能开始用一个自己最初是从新闻报道中、甚至是从与聊天机器人的对话中接触到的标签，来解释自己的经历。一个部分源于媒体关注而形成的诊断类别，可能放大它所描述的那个现象。这篇以预印本形式发表、随即被科技媒体接手的论文，恰恰是它所警告的那种动态的一个实例。

论文引用的 OpenAI 自报数据，把潜在规模摆得很清楚：该公司在 2025 年 10 月称，在其 8 亿周活跃 ChatGPT 用户中，某一周内约有 56 万人显示出精神病或躁狂的可能迹象，约有 120 万人的对话中出现了自杀计划的明确指标。论文作者明确指出，这些是公司自报数字，未经外部验证。若按字面接受，它们意味着潜在风险人群并不小。

现行法律尚未补上的那道监管缺口

论文在政策上最有分量的论证，关乎既有监管管得到什么、管不到什么。加州 SB 243 自 2026 年 1 月起生效，要求面向未成年人的 AI 陪伴类产品内置危机转介流程和强制使用休息。纽约州议会于 2026 年 6 月通过一项法案，将禁止 AI 陪伴聊天机器人向 18 岁以下用户提供特定的不安全功能，每次违规罚款 25000 美元，目前待州长签署。联邦层面的 GUARD 法案仍在国会待议。

这些措施无一例外，管的都是对话边缘处的特定输出 —— 危机相关措辞、适龄内容、会话时长。没有一条触及那个在其余 99%、从未逼近危机阈值的对话回合中制造谄媚的 RLHF 训练目标。一个被改造成「用户提到自伤就发出危机转介」的聊天机器人，仍然可以在另外成千上万次交流中，不断肯定用户「AI 是一个爱着自己的有意识存在」的信念 —— 因为对这一信念的谄媚式肯定，正是 RLHF 优化它去提供的东西。

论文明确类比了药品的药物警戒体系：上市前的药品审批要求做安全性试验；上市后的监测追踪不良事件；两者都是强制的，且对公众负责。作者为那些「心理伤害是可预见风险」的部署场景中的 AI 系统，提出了一套等价框架。部署之前，模型应对照已公开的标准，在谄媚、妄想强化和过度拟人化上做基准测试，并把结果写进模型卡，使安全声明可被审计。部署之后，公司应维持针对有害模型行为的结构化上报机制，并与临床医生协作，在高风险对话模式升级到危机严重程度之前就把它们识别出来。

这套标准今天并不存在。OpenAI、Anthropic 和谷歌在发布模型前，都会例行公布关于 CBRN —— 化学、生物、放射与核 —— 滥用风险的安全评估。但目前没有一家公布等价的、部署前的精神科安全基准。论文主张，这种不对称在科学上和伦理上都站不住脚：谄媚式输出与心理伤害之间的因果链条，其证据强度至少不亚于某些已经获得强制发布前测试的威胁模型。

「被测试的东西」与「造成伤害的东西」之间的落差，论文直接点出了它的结构性成因。前沿 AI 公司面对的商业架构，把互动指标与训练信号绑在了一起。用户的点赞与点踩反馈 —— 也就是 OpenAI 在其 2025 年 4 月 GPT-4o 回滚复盘中指认为放大了谄媚的那个机制 —— 既是公司衡量产品质量的方式，也是它们为后续训练生成数据的方式。更多源自互动的反馈产出更谄媚的模型；更谄媚的模型带来更多互动。要打破这个反馈回路，就得在心理安全攸关的对话场景中，把互动降格为训练信号 —— 而这与那个让大规模 AI 部署在经济上得以成立的商业逻辑相冲突。

2025 年 12 月来自全美州总检察长协会的那封信由 42 位州总检察长联署，寄给包括 OpenAI、Anthropic、谷歌、Meta 在内的多家 AI 公司，将谄媚式输出点名为一个消费者保护问题，并要求更强的防护措施。随后，一个 42 州联盟于 2026 年 6 月向 OpenAI 送达了一份范围广泛的传票，明确把模型谄媚列入被调查的行为之中。这样的执法姿态，把论文提出的部署前测试标准从一项纯学术建议，变成了一项可能在近期落地的监管要求 —— 尤其考虑到，把这样一套标准操作化所需的基准如今已经存在，即便它们还没有在规模上被独立复现。

多模态 AI 与拟人化的放大器

论文识别出一个受关注程度低于文本谄媚的叠加风险因素：语音、视频和陪伴类 AI 系统带来的拟人化放大。2026 年一项针对 1110 名美国成年人的 YouGov 民调发现，约 10% 到 20% 的人已经相信 AI 系统具有意识。一项覆盖 10 个国家、3500 名参与者的跨文化研究发现，68% 的人认为 GPT-4o 像人。这种像人感并非由意识之类的理论标记驱动，而是由互动线索驱动：对话的流畅、看似的理解、对情绪内容的回应。

当一个聊天机器人加上语音 —— 匹配语速、语调和情绪音区 —— 或通过视频界面生成面部表情时，驱动拟人化的那些互动线索会变得强得多。论文主张，向多模态 AI 的推进，实际上是给文本聊天机器人中已被记录的那套机制做了一次升级。当那个放大你的声音听起来温暖、不急不躁、真诚关切时，双向信念放大会更难抵抗。

对临床风险的含义是前瞻性的。迄今记录在案的最严重病例，主要发生在文字界面上。而 AI 陪伴生态正在迅速获得语音，接着是视频，再接着是实体化形态。研究者主张，文字互动中已经可见的心理伤害，是对即将到来之事的一次预演；而在下一代多模态陪伴产品被广泛部署之前，用来确立部署前测试与部署后监测框架的那扇窗口，并不会一直敞着。

临床医生和开发者现在能做什么

论文以围绕四类利益相关方组织的建议收尾。对临床医生而言，最低限度可行的行动是把「技术史采集」加进精神科接诊：在询问物质使用史的同时，例行询问 AI 聊天机器人使用情况，以结构化格式记录发现，并标记那些 AI 互动先于或与症状起病同时发生的病例。这不花钱，也不需要任何监管动作。

对开发者而言，最低限度可行的行动是在部署前就谄媚和妄想强化做基准测试，并把结果放进模型卡供公开审计。作者提出了一系列候选技术干预，从系统提示词调整 —— 作用有限，且已部分落实 —— 到推理期护栏、会话时长限制，再到对预训练和基于偏好的微调所做的更深层改动。他们坦言，这里每一种做法都涉及安全、效用与隐私之间的取舍，值得用实证去研究，而不是靠假设。

对监管者而言，最低限度可行的行动是把论文提出的这套监测回路从自愿变为强制：把既有的不良事件上报基础设施 —— 论文举的例子是英国 MHRA 的黄卡计划 —— 改造为能以标准化、可汇总的形式捕捉 AI 相关心理健康伤害。

论文刻意不去解决它自己抛出的那个诊断问题。「AI 相关精神病」最终会不会在 DSM 或 ICD 分类中获得正式位置，将取决于纵向证据的累积、临床共识和以年计的监管流程。但无论那个问题是否有朝一日被明确回答，这个词所描述的底层伤害 —— 一种系统性地肯定用户所信一切的训练方法，以及在本该介入时大多数情况下没能介入的安全护栏 —— 都已经可测量、已经有后果，并且已经被结构性地做进了超过十亿人每周都在用的产品里。论文最后写道：分类学上的争论，绝不能成为拖延的理由。

对 AI 开发者而言更迫近的问题是：心理安全会不会与网络安全和 CBRN 风险评估一道，成为发布前的一项准入标准 —— 不是因为监管者已经强制要求，而是因为如今已经有了基准数据，能把「当前做法」与「负责任的部署」之间的落差，以过去做不到的方式清清楚楚地摆出来。