vLLM Decision 3.0 发布：不生成 token 的六个开放分类模型
Apache-2.0 家族覆盖 0.6B 到 27B；三个小模型转成 Core ML 跑 Apple Silicon
vLLM Semantic Router 项目于 10 月 10 日发布 Decision 3.0，这是其开放权重决策模型家族的第三代，也是所有开放家族中第一个接受视频作为分类输入的。本次发布包含六个模型 —— d3-edge（0.6B）、d3-lite（0.8B）、d3-nano（2B）、d3-mini（4B）、d3-flash（9B）和 d3（27B）—— 全部以 Apache-2.0 许可发布在HuggingFace上。三个较小的模型已转换为苹果的 Core ML 格式，可在 Apple Silicon 硬件上做设备端推理；六个模型现在也都可通过inference.sh作为托管端点使用。
决策模型回答问题，而不生成文本
决策模型扮演的角色不同于大语言模型：它们不产出 token 序列，而是通过在一个定义好的选项集上返回经校准的概率分布，来回答关于输入的结构化问题。三种问题类型是 Choice（从列表中选出最合适的选项）、Yes-No（二元分类）和 Score（在定义范围内的数值评分）。每个问题在共享输入上各走一次前向传播 —— 所以一次 API 调用对一段视频问三个问题就执行三次前向传播，但没有一次涉及自回归解码、采样或束搜索。输出是一个概率向量，不是生成的文本。
对于路由、检索过滤和内容打标这类答案空间有界且预先定义的任务，这种设计让决策模型每次分类比自回归语言模型快得多、便宜得多。代价是不灵活：决策模型给不出选项集之外的答案，也不能解释自己的推理。对结构化的自动化流水线来说，这些约束通常是优点而不是局限。
Decision 3.0 把这个架构扩展到视频输入，此前的开放决策模型家族不支持这一点。视频表示是走与图像输入相同的多模态编码器，还是需要单独的处理路径，公开的模型卡里没有细说；视频支持这一说法由发布文档确认。
基准提升证实了进展，但分数差距仍在
在Jev 决策指数 0.3.1—— 一个跨五个等权重类别（工具与自动化、检索与分类、语言理解、知识与推理、艺术与人类判断）、经随机水平校正的基准 —— 上的表现显示出相对上一代的大幅提升。d3-lite（0.8B）达到 36.93，比其 Decision 2.0 对应版本高 16.4 分。d3-edge（0.6B）得 35.91，提升 12.1 分。d3-mini（4B）得 47.17，提升 10.7 分。
两个最大的模型 —— d3-flash（9B）和 d3（27B）—— 的分数在本文发稿时尚未在该指数上公布。0.3.1 子版本上目前已公布的最高分属于 Torchcast Decision 27B，为 59.9。
该基准上占主导的闭源模型分数 ——TypeSafe Jev的 57.89 —— 是在更早的 Jev 决策指数 0.2.1 上发布的，直接的数字比较并不可靠。TypeSafe Jev 于 2026 年 9 月推出，带着一轮由 DCVC 领投的 4000 万美元种子融资，采用其团队称为「面向校准决策的强化学习」（RLCD）的训练方法，并宣称这改善了校准 —— 即模型报告的置信度更贴近其实际准确率。这一校准说法尚未在包括 Decision 3.0 在内的开放模型上得到独立复现。
开放权重补上了闭源 API 造成的部署缺口
TypeSafe Jev 的定价约为每次决策 0.0004 美元 —— 对生产系统而言，这个数字随请求量线性增长。Decision 3.0 的 Apache-2.0 许可让它可以自托管，每次决策零成本，持续开支只有硬件和算力。inference.sh的上架提供了一个按 GPU 时长计费的托管替代方案，面向偏好托管基础设施、又不想按次付费的团队。
Core ML 转换把这种部署灵活性扩展到 Apple Silicon，覆盖 d3-lite、d3-nano 和 d3-mini。设备端推理消除了往返延迟，并把数据完全从云基础设施中拿掉 —— 这与有隐私约束、离线要求或云 API 不可行的边缘部署目标的企业工作流相关。
vLLM Semantic Router 项目还确认了一项聚焦推理优化的AMD 合作，表明对非英伟达硬件性能的持续投入。该项目的 NeurIPS 2025 论文确立了它作为混合模态部署路由框架的研究谱系。
分数差距与校准说法尚未验证
即便考虑到基准版本的差异，Decision 3.0 与 TypeSafe Jev 之间的性能差距是真实的。d3-mini（4B）在 Jev 决策指数 0.3.1 上得 47.17，而 Torchcast Decision 27B —— 一个大得多的开放模型 —— 达到 59.9，TypeSafe Jev 在更早的 0.2.1 上得 57.89。Decision 3.0 的 27B 模型一旦打分后能否缩小这个差距，仍然未知。
GPTS24 对另一个开放决策模型 Laya 的报道发现，它在训练分布之外的分类任务上接近随机水平 —— 提醒人们在固定指数上的基准分数未必能预测对新领域的泛化。Decision 3.0 在各个模型尺寸上的提升表明泛化比前代更强，但独立的分布外测试尚未见报道。TypeSafe Jev 特有的 RLCD 校准优势 —— 如果在基准之外成立 —— 对生产部署的意义可能比头条准确率分数所显示的更大。
d3 27B 在 Jev 决策指数 0.3.1 上的分数，以及 Decision 3.0 在真实生产流水线中的首批表现报告，将决定开放权重阵营是真正缩小了与 TypeSafe Jev 的能力差距，还是主要补上了模态和部署灵活性的差距、而准确率差距原封不动。