Qwenputer 把一颗能运行的 RISC-V CPU 装进 Qwen3.5-4B：无需训练，不调用工具

一位开发者把一颗能正常工作的 32 位 RISC-V 处理器，直接编译进了 Qwen3.5-4B 的权重矩阵，得到一个能在前向传播过程中执行任意机器码的模型，无需任何训练、微调或外部工具调用。这个名为 Qwenputer 的项目于 10 月 28 日走红：Qwen 大使 Divyansh Agrawal 在 X 上发帖演示了这套系统。他 10 月 22 日发布在博客上的技术文章揭示了一种对 AI 可解释性研究和安全监督有直接影响的机制。

这项成果既不是权重隐写，也不是利用过参数化网络中隐藏的冗余容量。早期报道中流传的这两种说法，都误解了 Agrawal 做的东西。Qwenputer 的做法是在 Qwen3.5-4B 前面加上 11 个解析计算出来的 Transformer 层，每一个权重都由一个定制编译器确定，而不是通过梯度下降学出来的。基础模型的 32 层被冻结，原封不动。结果是一个 18.8 GB 的检查点，由于零填充扩展，体积约为基础模型的两倍，可在单张 24 GB 显卡上运行。

Gated DeltaNet 层如何变成精确可寻址的内存

这一机制利用了 Qwen3.5 注意力设计的一个结构特性。Qwen3.5 每四个注意力层中有三个使用 Gated DeltaNet（GDN），这是一种线性循环神经网络，其隐藏状态是一个矩阵，而不是键值缓存。在特定条件下（门控设为 1，更新系数 beta 设为 1，并用独热向量作为查询键），GDN 的状态更新方程就简化为一次精确的内存写入。随后用匹配的独热键读取，就能精确取回存储的值，没有任何近似。

这一特性让 GDN 层可以充当确定性的、可由编译器寻址的内存。Agrawal 的编译器把一颗 RISC-V 处理器编码进前置的 11 层中，这些层的权重利用的正是这种状态矩阵行为；处理器实现了 RV32IM 指令集、Zba 地址生成扩展，以及一个大数运算协处理器。执行发生在推理时：一个名为 RvChat 的驱动程序在提交提示后把固件加载进 DeltaNet 状态来启动 CPU，然后读取前向解码过程中生成的 ADDR、VAL 和 STEP 跟踪 token。这些 token 借用 Qwen 现有的工具调用 token 格式来驱动 CPU，因此处理器对周边基础设施是透明的。系统可以在固件层面运行 C 和 MicroPython 程序。所有层的权重都是解析求解的：没有计算任何梯度，也没有使用任何数据集。

基准结果，以及它们实际衡量的是什么

在 DeepMind 的算术评测套件上，Qwenputer 在 div_big 上得分 97.5%，mul_big 97.5%，mul_div_multiple_longer 100%，add_or_sub_big 97.5%；作为对照的 Python 工具调用（Agrawal 使用传统外部计算器的基线）在同样任务上分别为 95%、100%、97.5% 和 97.5%。在 NUPA 长整数基准上，Qwenputer 达到 100%，而未经修改的基础模型为 48.6%。这些数字由作者自行报告，尚未得到独立复现。

有意义的结果并不是算术分数本身，而是：在 Transformer 注意力内部执行的、由编译器生成的 CPU 层，与在模型外部运行的 Python 解释器得出了相同的输出，其中不涉及任何学习得来的近似。

基础模型的语言生成基本不受影响。Qwenputer 的文本输出与 Qwen3.5-4B 基线之间的 KL 散度约为 6×10⁻⁴，几乎为零。在正常推理中，前置的 CPU 层不会干扰下游的语言行为。

文件系统扩展：模型状态里装下 512 个文件

一个后续变体把 Qwenputer 扩展到了持久存储。通过更激进地分配 DeltaNet 的状态容量，文件系统变体在模型的循环状态中存储了 512 个独立文件，可在约 53,000 个 token 的上下文范围内访问。从概念上说，这相当于在注意力机制中嵌入了一个带板载闪存的微控制器，在已部署的 Transformer 系统中前所未有。

Agrawal 指出的安全与可解释性影响

Agrawal 的后续研究指出了两个超出算术演示范围的后果。第一个是规避风险：由于 GDN 层把计算保留在思维链 token 流中看不到的 RNN 状态矩阵里，一个老练的对抗者可以把推理步骤藏在循环状态中。安全研究人员用来发现欺骗性推理的标准思维链监控，对 DeltaNet 矩阵内部进行的计算将毫无察觉。Qwenputer 的架构表明，这种隐藏在架构上是可行的，而不只是假设。

第二个影响方向正好相反。由于这些 CPU 层由编译器生成并经过解析验证，它们的行为可以被形式化地规定和检查。Agrawal 认为这是一条通往防篡改权重内监控器的路径：把带有可验证保证的监督电路嵌入模型权重，而不是依赖可以被剥离的外部脚手架。让隐藏推理成为可能的同一个架构特性，也让难以移除、可形式化规定的监督成为可能。

延伸阅读：机制可解释性的核心假设可能是错的，Goodfire 研究员称

实际局限，以及这一架构引出的问题

Qwenputer 是一个研究原型，存在实实在在的硬件限制。18.8 GB 的检查点和 24 GB 显卡的要求对消费级硬件来说不现实；在 L4 加速器上的执行速度约为每秒 3200 个 CPU token，足以做算术演示，但不足以进行通用计算。推理时必须使用 RvChat 驱动，因此不经修改就无法部署在标准端点上。这颗 CPU 在 RISC-V 上运行的是固件级的 C 和 MicroPython 程序，而不是完整的操作系统。

更大的问题是这项技术的底层逻辑能否扩展。GDN 层并非 Qwen3.5 独有；随着线性 RNN 注意力机制在 Transformer 生态中普及，面向编译器的权重构造可能会成为一种通用工具，用来在语言模型推理中嵌入经过验证的计算。这条路究竟会先通向更可靠的 AI 智能体，还是更难察觉的隐藏推理，很大程度上将取决于安全与可解释性研究人员如何对待 Agrawal 现已公开的这份蓝图。