开源 Karpo Decision 31B 登顶 Decision Index,超越谷歌和 TypeSafe
MachinePulse 以 Apache 2.0 许可发布的模型在社区排行榜上拿到 73.9 分,超过约 66 分的 Gemini Decision 1

谷歌推出首款决策模型仅一天后,一家新加坡创业公司的开源替代品就在这个两个月前还几乎不存在的品类里、最常被引用的社区基准上超过了它。MachinePulse AI 于 2026 年 11 月 5 日以 Apache 2.0 许可发布的 Karpo Decision 31B,在 11 月 12 日以 73.9 的 Full 分数登上 Decision Index 社区排行榜第一,领先谷歌的 Gemini Decision 1 和 TypeSafe 的 Jev 1.14,而在 Karpo 出现之前,正是这两款模型定义了决策模型这个品类。这一结果让大语言模型时代早已熟悉的模式来得更快:大型实验室发布一款专有的基础设施模型,几天之内就有开源对手在社区基准上追平或超越它。
这种趋同关系重大。两个月前、即 2026 年 9 月以 Jev 模型开创决策模型品类的 TypeSafe AI,年度经常性收入已突破 1 亿美元。这一数字出自红杉资本,由 Latent Space 报道。谷歌于 11 月 11 日带着 Gemini Decision 1 入场,定价为每百万输入 token 0.10 美元,优势在于支持文本、图像、音频、视频和 PDF 的多模态输入。Karpo 的回应是每 1000 次决策 0.025 美元的价格,而且如今在公开追踪这个品类表现的排行榜上拿下了最高分。
新的基础设施层:决策模型到底做什么
要理解 Karpo 取得了什么,先得弄清决策模型是什么,以及为什么它是与大语言模型真正不同的东西,而不只是大语言模型一种更窄的应用。
决策模型接收一段上下文(一段对话历史、一个网页、一份智能体状态描述、一份文档),以及一个或多个有类型的问题。每个问题都附带一组固定的可选答案。模型在一次前向传播中返回这些答案上的概率分布:它从不生成文本,从不逐个选择 token,也从不输出思维链。结果是一个结构化的 JSON 响应:一个有类型的答案(是/否、列表中的一项,或 1 到 10 的评分),附带经过校准的概率。
TypeSafe AI 在 2026 年 9 月 15 日发布 Jev 时,为它创造了「System One 模型」这个说法。这一提法借用了丹尼尔·卡尼曼的双过程理论:大语言模型像系统二思维那样运作,缓慢、审慎、逐 token 推理;决策模型则像系统一思维,快速、自动、凭概率作出判断,没有可见的推理链。TypeSafe 创始人 Diogo Almeida 是 OpenAI InstructGPT 论文的合著者之一,他把决策模型定位为 AI 系统中独立的一层基础设施,而不是生成能力的替代品。
这个品类的现实依据在于延迟和成本。当软件流水线里的 AI 智能体需要判断一张支持工单是否紧急、该交给哪个部门、一份文档是否违反政策,或者一次浏览操作是否该继续时,每次判断都动用完整的大语言模型既昂贵又缓慢。大语言模型逐 token 生成文本,每个 token 都依赖前一个。决策模型完全绕开了这一点。它的最后一层是一个线性读出头,同时为所有候选答案 token 打分,只读取与答案选项对应的那些 token 的 logits。没有采样,没有温度参数,也没有 token 之间的顺序依赖。
具体到 Karpo,按照 Karpo 31B 模型卡的描述,这个最后一层是一个 255 × 5376 的 fp32 矩阵,接在基座模型 Gemma 4 31B-it 的最后一个 Transformer 层之后。矩阵维度 255 对应单个问题最多可带的答案选项数;5376 是 Gemma 4 31B 模型最后一层的隐藏维度。与完整的 Transformer 前向传播相比,读出操作只需微秒级时间;而且由于没有自回归生成,响应时间不会随输出长度增长,因为根本就没有输出长度。
Branch Attention:多个问题,不做重复计算
MachinePulse 在这种标准决策模型设计之上引入的架构创新是 Branch Attention,这一机制能在一次高效的传播中回答关于同一输入状态的许多问题,而不必分成 N 次单独传播。
Branch Attention 要解决的问题很直接:生产环境中的智能体工作流,通常需要针对同一个传入事件依次做出几项路由决策。这条消息紧急吗?它属于哪个类别?要不要升级处理?用户是付费客户吗?每个问题依据的都是同一段上下文。没有 Branch Attention,系统要么调用四次模型(在完整的 31B Transformer 上跑四次前向传播),要么把所有问题塞进一个提示词(这可能让一个问题的答案选项影响另一个问题的概率估计)。
Branch Attention 的做法,按照 Karpo 模型卡的描述是:模型只为输入上下文计算一次 KV 缓存,随后把每个额外的问题作为一个并行「分支」接到这份共享缓存上。MachinePulse 的文档写道:「一个分支读取共享块(问题和状态)以及它自身,从不读取另一个分支。」各分支看不到彼此的答案选项:它们共享上下文表示,但彼此的答案集相互隔离。问题越多,节省的计算越可观:针对同一上下文的 10 个问题,所需计算量大约相当于处理一两个单独的问题,而不是十次单独调用。
这种架构直接影响定价。由于 MachinePulse 按决策次数而不是按输入 token 收费,而 Branch Attention 又把上下文表示的成本分摊到各个问题上,针对同一状态提出多个问题的工作流,付出的费用只是用按 token 计价的模型分别调用多次 API 的一小部分。
Gemini Decision 1 每次请求最多支持 1000 个问题,借助谷歌自己的批处理基础设施实现了类似的成本分摊。关键区别在于:Karpo 的权重是公开的,开发者可以在自托管部署中实现同样的批处理效率,不必把推理请求发往谷歌的 API。
在移动的目标上训练:递归自我改进与模型融合
MachinePulse 训练 Karpo 的方法在两方面不同于标准微调,公司称这两点针对的是快速演变的排行榜竞争中常见的基准过拟合问题。
第一是递归自我改进(RSI)。Karpo 的训练是迭代式的:每一代新模型都必须在留出评估集上取得比上一代更高的基准分数,才能被接受为新的基线;只与上一代持平的模型会被丢弃。这样一来,训练目标不是一套固定的标签,而是由模型自身前代不断抬高的门槛。这一机制在概念上借鉴了 AlphaGo 的自我对弈训练,只是用在了结构化决策领域。
第二是模型融合。MachinePulse 不从微调过程中挑选单个最佳检查点,而是对多个检查点做均匀权重平均,其中既有全量微调的检查点,也有参数高效的 LoRA 微调检查点,见 Karpo 模型卡。在多样化的检查点之间做权重平均是一种已知的抗过拟合技术:单个检查点可能对特定训练样本过拟合,但平均之后往往能更好地泛化到没见过的分布。MachinePulse 报告称,模型融合保持了基座模型 1 倍的推理成本,同时提高了域外基准的准确率,也就是说,模型在没有专门训练过的决策任务上表现更好。
完成这两步之后,Karpo 还要经过一道训练后校准。Karpo 模型卡报告了「4.8 分的校准误差」,但没有说明方法名称或指标。MachinePulse 另行发布的材料把这一步称为 RLCD(Reinforcement Learning Calibrated Decisions),并声称预期校准误差(ECE)为 0.023,这个数字在得到独立验证之前应视为公司自报。一家独立的模型追踪网站 decisionmodels.ai 给 Karpo 加了「概率尚未校准」的备注,这可能是因为该网站列出的是模型开箱即用的基础状态,而不是 MachinePulse 通过 API 提供的校准后检查点。下文将讨论的 JevBench 社区评测此后给 Karpo 的校准分项打出了 94 分(满分 100),为其校准表现强劲提供了有分量的独立佐证。
解读 Decision Index:73.9 分到底意味着什么
Karpo 登顶的 Decision Index 是由 multimodalart 在 HuggingFace 上维护的社区排行榜,当前版本为 0.4.1。截至 2026 年 11 月 12 日,榜上共有 300 个条目,评测覆盖 37 个公开基准外加一个私有测试库;此后条目已增至 301 个。排行榜给出的「Full 分数」综合了各类决策的准确率、校准、延迟效率和成本效率。
Karpo Decision 31B 的 73.9 分,与此前占据榜单前列的两款模型拉开了明显差距。TypeSafe 的 Jev 1.14 在同一榜单上约为 66 分。谷歌的 Gemini Decision 1 在 HuggingFace 社区榜上的得分也在这一区间,不过不同评分框架使用的评测集和加权方式不同,不应把它们当作同一尺度上的同一数字直接比较。可以确定的是:Karpo 登上了追踪最广的社区榜单榜首,在该榜上与已确认的最接近对手相差约 7 到 8 分。
还有一项重要的保留。随着新模型提交和评测,Decision Index 的排名可能变动;而且由于榜单设有私有测试库,部分被评测的模型行为无法公开复现。早前有报道称,GLiDE v1.2 和 Drex Max v1.1 这两款模型在社区榜上比 Jev 和 Gemini Decision 1 高约 7 分,这会让它们接近 Karpo 的分数。截至发稿时,它们在 11 月 12 日榜单更新中的确切位置无法得到独立确认。
JevBench 是另一个主要的决策模型评测框架,由 Benchmark Heaven 运营,使用 1500 道决策题(300 道公开、1200 道封存),从智能、校准、速度和成本四个维度打分(各占 25%,以几何平均合成)。Karpo 在 2026 年 10 月 27 日那一轮(v1.8.9)的提交最初被列为「未排名,仅标准维度」。随后一轮给出了正式结果:Karpo 在 261 个模型中排名第 7,能力分 87.2,其中智能 80.2、校准 94.1、成本 57.9。94.1 的校准分与 MachinePulse 自报的 96.00 校准数据相当接近,而 80.2 的智能分则略低于公司自报的 89.53 能力数据,这种差异符合自报指标往往高于独立评测的规律。
逐项看基准:Karpo 声称在哪些方面领先
MachinePulse 公布的基准对比,报告了 Karpo 在四项具体评测上相对 Gemini Decision 1 的表现。这些数字均为公司自报,独立复现尚未完成。
When2Call 测试智能体调用工具的时机:给定智能体状态和上下文,模型应该现在调用工具,还是在上下文内处理这一步?这项基准与生产环境中智能体的可靠性直接相关,错误的工具调用是已知的智能体循环失败和成本超支的来源。MachinePulse 报告 Karpo 得分 90.4%,Gemini Decision 1 为 79.9%,相差 10.5 个百分点。
Mind2Web 评测多模态网页导航,即涉及网页理解、动作选择和导航路由的决策任务。它取材于网页浏览场景,模型要根据截图和任务描述,在几个可能的下一步动作中作出选择。Karpo:90.0%;Gemini Decision 1:86.2%。3.8 分的差距较小,而且 Gemini Decision 1 有原生多模态训练的优势(谷歌的 Gemini 骨干原生支持图像、音频、视频和 PDF),这让这项基准格外有分量。Karpo 的基座模型 Gemma 4 31B-it 也通过其视觉骨干支持多模态输入;Karpo 模型卡报告支持文本、JSON 和图像,不过至少有一项独立分析指出,在当前这个经过决策微调的版本中,检查点里的视觉权重可能并未启用。微调流程似乎保留了一定的图像理解能力,但具体程度尚无独立记录。
New Yorker Caption 测试模糊情境下的语义推理:模型要从几个选项中选出与幽默相匹配的正确配文,这需要对言外之意、语境和语域有细致的理解。这项基准考察的是模型世界知识和语境推理的深度,而不是它的结构化决策能力。Karpo:90.5%;Gemini Decision 1:79.7%。10.8 分的差距是四项基准中最大的。
Amazon ESCI(Exact、Substitute、Complement、Irrelevant,即完全匹配、可替代、互补、无关)评测商品搜索相关性:给定顾客的查询和一件商品,把二者关系归入四类之一。这是一项经典的分类任务,在电商个性化、搜索排序和推荐系统中有实际的商业部署价值。Karpo:64.7%;Gemini Decision 1:58.7%。
四项基准的规律很一致:Karpo 声称在 When2Call 和 New Yorker Caption 上领先两位数,在 Mind2Web 和 Amazon ESCI 上小幅领先。如果能被独立复现,When2Call 的结果对智能体开发者会有实际意义,因为工具调用时机的决策处在自主智能体循环的关键节点上。
竞争格局:Karpo 在决策模型生态中的位置
自 2026 年 9 月 15 日 TypeSafe 发布 Jev 以来,决策模型市场演变迅速。Jev 发布后三周内,至少又有四款经确认的模型进入这一品类:OpenAI 的 Decisions API(9 月 29 日进入有限预览,10 月 6 日公开测试),以及 Cloudflare Clef 和 AWS Strands Decider 2B(二者均为开源,10 月 1 日发布)。微软于 10 月 9 日推出 Decision 1,可在 Microsoft Foundry 和 OpenRouter 上使用。
在把 Karpo 与它们逐一比较之前,值得先简要介绍这个领域的每个主要参与者,因为这些竞争者在架构、定价和部署模式上差异很大,单看基准分数并不能完全体现。
TypeSafe Jev(闭源,每百万输入 token 0.042 美元,输出 token 免费,据该公司定价页面)是这一品类的开创者,至今仍拥有最多的生产部署数据。Jev 从头到尾都是为决策任务设计的,没有继承基座大语言模型的生成式训练:TypeSafe 用决策任务数据集训练了自己的模型,这或许能解释它出色的校准特性和相对较小的模型规模。TypeSafe 没有披露 Jev 的参数量,但该模型报告的低延迟(公司基准中低于 80 毫秒)表明,其激活参数量远小于 Karpo 的 31B。对于看重品类成熟度、供应商稳定性和现有社区采用度的团队,Jev 仍是参照实现。
谷歌 Gemini Decision 1(闭源,每百万输入 token 0.10 美元,据官方公告)以谷歌原生多模态的 Gemini 架构为骨干。这让它无需额外的流水线步骤就能原生理解图像、音频、视频和 PDF,对处理富媒体的决策工作流来说,这项能力很关键。包含通话录音的客服路由、包含大量图片的 PDF 文档分类、包含视频帧的内容审核,都是多模态决策模型的天然用例。凭借每次请求 1000 个问题的容量和 150 到 250 毫秒的端到端延迟,加上谷歌全球推理基础设施的支撑,Gemini Decision 1 很适合高吞吐的生产环境。不过,它在社区 Decision Index 榜单上的基准排名如今已落后于 Karpo。
OpenAI Decisions API(闭源,2026 年 10 月 6 日起公开测试,每百万输入 token 0.10 美元,据 modelsystem.one)于 9 月下旬进入这一品类。该模型在 Decision Index 社区榜单上的排名尚未公开确认。它与 OpenAI 更广泛的开发者生态和函数调用基础设施的生产集成,可能会显著改变竞争格局。
Cloudflare Clef(开源,Apache 2.0,2026 年 10 月 1 日发布)有两个版本:270 亿参数的 Clef 和 90 亿参数的 Clef-flash。二者都能在 Cloudflare Workers AI 上运行,也可以自托管。Clef 有 27B 参数,自托管部署需要可观的 GPU 资源;Clef-flash 只有 9B,硬件受限的团队更容易用得上。对已经在 Cloudflare 基础设施上运营的团队来说,与 Workers AI 的紧密集成比自托管一个独立模型更省部署功夫。
AWS Strands Decider 2B(开源,Apache 2.0)约 19 亿参数,面向资源受限的环境:在普通硬件上单 GPU 推理、边缘部署,或者用较小模型就能满足决策准确率要求的成本敏感型应用。MachinePulse 自家的 2B 和 4B Karpo 版本也在这一细分市场竞争。
微软 Decision 1(闭源,每百万输入 token 0.042 美元,输出 token 免费)于 2026 年 10 月 9 日在 Microsoft Foundry 和 OpenRouter 上推出。它以 Qwen3.5-9B 为基座,加上专用于决策的读出头,支持 3.2 万 token 的上下文窗口,采用专有许可。它的定价与 TypeSafe 的 Jev 完全相同,定位是在 Jev 和价格更高的谷歌 Gemini Decision 1 之外,一个有商业竞争力的选择。
Karpo 的竞争地位可以从五个维度来看:
性能与成本:Karpo 在社区 Decision Index 上拿到 73.9 分,在 HuggingFace 榜单上所有分数可确认的模型中领先。它的 API 价格为每 1000 次决策 0.025 美元,与 Gemini Decision 1 每百万输入 token 0.10 美元相比颇具优势,不过直接比较成本在很大程度上取决于平均输入长度和每次请求的问题数。MachinePulse 声称 Karpo 比 Jev 快不少、便宜 20%,但这些数字尚未得到独立复现。
开源与闭源:Karpo 的 Apache 2.0 许可允许不受限制的商业使用、修改和自托管。在数据主权、合规要求或本地部署规定让云端 API 调用不现实的市场,这是一个实质性的差异点。Jev、Gemini Decision 1、微软 Decision 1 和 OpenAI 的 Decisions API 都是闭源的。在开源替代品中,Cloudflare Clef 和 AWS Strands Decider 2B 于 10 月初发布;Strands Decider 2B 约 20 亿参数,规模小得多,适合边缘或资源受限的部署,而 Clef 的两个版本(27B 和 9B)在 Cloudflare 的 Workers AI 基础设施上运行或自托管,没有专门的边缘节点部署模式。
模型家族广度:MachinePulse 把 Karpo 作为一个由六款开放权重模型组成的家族发布:0.8B、2B、4B、9B、12B 和 31B,均已在 HuggingFace 上提供。4B 版本以 Qwen3.5-4B 为基座,31B 则以 Gemma 4 31B-it 为基座。这样的档位范围让开发者可以按硬件条件匹配模型能力:0.8B 和 2B 模型能在消费级 CPU 上运行,9B 和 12B 版本则适合单块准专业级 GPU 常见的 24 到 48GB 显存配置。只有 31B 模型有基准领先的说法。
多模态支持:Gemini Decision 1 依托谷歌原生多模态的 Gemini 基础设施,单次请求即可支持文本、图像、音频、视频和 PDF。Karpo 31B 模型卡报告通过 Gemma 4 骨干支持文本、JSON 和图像,不过至少有一项独立分析指出,当前版本中的视觉权重可能并未启用。对于需要基于音频或视频内容作决策的工作流,Gemini Decision 1 成熟的多模态训练带来了明显优势,而以文本为主的测试集上的基准分数并不能完全体现这一点。
延迟与吞吐:MachinePulse 报告称,在单块 RTX PRO 6000 显卡上,每次决策的中位延迟为 94 毫秒,吞吐量为每秒 7100 次决策;这些数字为公司自报,尚未在标准化硬件配置上得到独立验证。Gemini Decision 1 公布的端到端延迟为 150 到 250 毫秒。如果 MachinePulse 的数字经得起独立测试,Karpo 就快得多,这对智能体系统很重要,因为在单次流水线执行中,决策延迟会在多个路由步骤间层层累积。不过据报道,TypeSafe 的 Jev 在可比硬件上能做到 80 毫秒以下的延迟,视部署配置而定,它可能才是延迟更低的选项。
部署要求:运行 Karpo 31B 实际需要什么
31B 参数模型的性能伴随着硬件代价。以完整 fp32 精度运行 Karpo Decision 31B 大约需要 62.5 GB 的 GPU 显存,依据是模型在 HuggingFace 上的权重大小。这让单块消费级 GPU 无法胜任(英伟达 RTX 4090 配备 24GB 显存;显存 48 到 96GB 的 RTX PRO 6000 属于专业级选项)。要实际自托管 31B 模型,需要一块 H100 80GB、一块 A100 80GB,或者一套通过 NVLink 互联的双 GPU 配置。
为了在这一规模下缩小延迟差距,MachinePulse 采用了几项推理优化。用 Triton 编写的自定义 CUDA 算子取代了 Gemma 4 全局注意力层的标准内核实现,降低了每次操作的启动开销。FP8 量化让标准 fp16 路径的内存带宽压力减半,同时保留了大部分决策准确率,这种取舍在生产环境的大语言模型部署中早已成熟。无填充打包把 token 序列直接拼接成批、不加填充 token,省去了在填充位置上浪费的计算,提高了 GPU 利用率。CUDA 图重放会捕获并重放 CUDA 执行图,而不是每次请求都重新编译,从而消除了推理热路径上的 Python 层开销。
这些优化合在一起,与生产环境 AI 基础设施团队在延迟敏感型模型部署中的常规做法一致:这些技术都不新,但把它们组合用在这种规模的决策模型上,值得一提。对于满足不了 62.5 GB 显存要求的团队,Karpo 9B 和 12B 模型的显存占用更低(约 18 到 24GB),不过它们的性能尚未在 Decision Index 上与 31B 做过对比。
MachinePulse:Karpo 从哪里来
MachinePulse AI 是一家总部位于新加坡的创业公司。创始人兼 CEO Leah Wang 有 AI 产品开发背景。联合创始人 Lucas Wu 在参与创办 MachinePulse 之前,曾在大型科技公司担任高级工程职务。公司的主要产品是 Karpo,一款用于发现本地生活的个人智能体,提供餐厅推荐、社区服务和活动策划等功能,它所使用的正是此次开源的决策模型基础设施。
公司的公开定位不同寻常:它把自家智能体路由系统的技术核心作为开源软件发布。可能的理由符合基于开源基础设施打造产品的 AI 创业公司中常见的一种模式:在新兴品类中建立技术信誉、争取开发者心智,同时靠应用层产品(Karpo 个人智能体)形成差异化,也可能为想要性能又不愿承担自托管开销的团队提供托管 API。
MachinePulse 没有披露融资轮次或营收数字。新加坡总部让它身处一个日益活跃的 AI 基础设施公司聚集地,尤其是那些一边面向东南亚市场开发应用、一边兼顾亚洲 AI 生态人才和西方资本市场的公司。
开源的动态与商品化信号
谷歌入场后 Karpo 如此迅速地登顶 Decision Index,并不只是竞争中的一个注脚:它延续了迄今在每个 AI 品类中都上演过的模式。
大语言模型:OpenAI 的 GPT-4 在 2023 年 3 月发布时是专有模型。大约 18 个月内,开源模型就在标准评测上缩小了大部分基准差距,Meta 的 Llama 3 等模型在许多任务上接近持平。嵌入模型:OpenAI 的 text-embedding-ada-002 曾是占主导地位的商用选项;不到一年,Nomic、E5 等以开放许可发布的模型就在 MTEB 上达到了相近的性能。推理模型:类似的轨迹正在展开。
决策模型诞生于 2026 年 9 月 15 日。到 11 月 12 日,也就是 58 天后,一款开源模型已经登上社区基准的榜首。这个周期正在缩短。这关系到这一品类的经济性:如果开源决策模型继续缩小差距,商用决策模型 API 的护城河就更少取决于模型性能,而更多取决于推理基础设施、技术支持、集成和多模态能力。
TypeSafe 的 Jev 模型开创了这一品类,据报道在大约两个月内年度经常性收入就突破了 1 亿美元。对它来说,问题不在于 Karpo 的基准领先能否得到独立验证,而在于如果开发者开始评估实测性能相当甚至更好的自托管替代品,这条 ARR 增长曲线会怎样。对谷歌来说,Gemini Decision 1 的优势是实打实的(原生多模态、全球基础设施、每次请求 1000 个问题),但一款产品要与早一周就已可用的开源替代品竞争,发布时就落后 7 分,是个信誉问题。
对开发者来说,局面更简单:架构如今已广为人知,基准方法是公开的,领先的开源模型采用 Apache 许可、可以下载,硬件要求对任何有一定规模的团队来说都够得着。决策基础设施这一层,无论日后回头看这个说法会被如何解读,正以几乎快过此前任何同类 AI 基础设施品类的速度被搭建起来。
哪些已获独立基准确认,哪些仍是公司自报
本文中的技术说法经过验证的程度不一,有几项值得明确指出。
MachinePulse 关于 RLCD 校准的说法,即预期校准误差为 0.023,仍属公司自报。Karpo 31B 模型卡描述了「4.8 分的校准误差」,但没有说明方法,也没有指明指标;RLCD 这一名称和 ECE 数字出现在 MachinePulse 另行发布的材料中,并不在官方模型卡里。此后,关于其校准表现强劲的有分量的独立佐证来自 JevBench:在最近一轮评测中,Karpo 的校准分项获得 94 分(满分 100)的正式成绩,以 77.4 的综合分在 261 个模型中总排名第 7(智能 80、校准 94、速度 88、成本 58)。JevBench 94.1 的校准分与 MachinePulse 自报的 96.00 相当接近,而 80.2 的智能分略低于公司自报的 89.53 能力数据,这种差异符合自报指标在智能类任务上往往高于独立评测的规律。
对决策模型来说,校准不是次要问题。在生产部署中,它可以说比原始准确率更重要。一个不管实际不确定性如何、对每个答案都给出 90% 概率的决策模型,会制造一种虚假的信心,下游系统无从弥补。工程师构建的智能体如果依据置信度阈值来路由高风险决策,比如模型概率低于 0.75 时就转交人工审核,就完全依赖模型的概率估计是否有意义。如果模型过度自信,升级机制就会悄无声息地失效。JevBench 94 分的校准成绩为 Karpo 概率估计的可靠性提供了有分量的保证,不过 ECE 0.023 这个具体数字仍有待指标层面的独立确认。
与 Gemini Decision 1 的逐项基准对比(When2Call、Mind2Web、New Yorker Caption、Amazon ESCI)都是公司自报数字。这些评测由 MachinePulse 运行;谷歌并未在同等条件下用自己的方法独立运行同样的基准。3.8 到 10.8 个百分点不等的差距,在实验条件一致的独立评测下可能缩小,甚至反转。还值得注意的是基准的选择:MachinePulse 选择重点展示的四项基准全都显示 Karpo 领先。Karpo 可能落后于 Gemini Decision 1 的基准(尤其是音频和视频理解,谷歌在这方面的多模态训练更成熟)并没有纳入对比。
Decision Index 社区榜单本身虽被广泛引用,却不是受控的实验室评测。模型在公开测试部分自行提交结果;私有测试库是防止直接过拟合的把关机制,但榜单无法控制推理硬件、批大小、温度设置或提示词格式等可能影响实测性能的差异。这个包含 300 个条目的基准集虽然覆盖面广,却是在 Karpo 的设计公开之前构建的,因此没有明显的基准污染问题,但榜单的方法论尚未就全面性或构念效度接受独立审计。
延迟和吞吐数字(94 毫秒中位延迟、每秒 7100 次决策)为公司自报,尚未在标准化硬件配置上得到独立验证。
另一项限制是上下文窗口。据 decisionmodels.ai,Karpo 31B 每个序列的实际上限是 32768 个 token,而不是模型配置中列出的最大值 256K token。对大多数决策任务(路由、分类、评分)来说,上下文很短,32768 个 token 绰绰有余。但对于基于长文档的决策任务(一份冗长的合同、一段很长的对话历史、一份篇幅很大的监管申报文件),实际的上下文限制可能要求先分块或摘要,决策模型才能处理输入。依托谷歌 Gemini 基础设施的 Gemini Decision 1 没有这一限制。
这些都不意味着 Karpo 的性能说法是假的。它意味着,本文最好被理解为对一次引人注目的基准首秀的报道:校准方面已有来自 JevBench 的有分量的独立佐证,但具体数字(ECE 0.023、When2Call 90.4%、每秒 7100 次决策下 94 毫秒的延迟)仍需完整的独立验证,才能被当作确定的性能排名。
接下来看什么
有几项进展将决定 Karpo 在生态中的位置在未来 60 到 90 天里如何演变。
近期信息量最大的数据点,将是 JevBench 后续的评测周期。首次正式排名(第 7 名,能力分 87.2,校准 94.1,智能 80.2,成本 57.9)提供了一个扎实的基线,尤其是 94.1 的校准分,验证了其核心校准方法。未来几轮会采用更新的模型版本和更多封存测试题,更清楚地显示 Karpo 的性能能否在定向微调无法预见的分布偏移下保持住。如果校准结果继续与 MachinePulse 的说法相符,Karpo 作为可用于生产的校准引擎的地位就会站稳。未来几轮也会让智能维度更清晰,公司自报(89.53)与 JevBench 正式得分(80.2)之间的差距值得密切关注。
第二个信号是较小的 Karpo 版本,尤其是 9B 和 12B 模型,能否在基准集上接近 31B 模型的准确率。生产环境中的决策模型部署常常受制于延迟预算和硬件条件;一款在 Decision Index 上拿到比如 68 到 70 分的 Karpo 9B,既能显著扩大可覆盖的市场,又仍然排在 Jev 和 Gemini Decision 1 之上。MachinePulse 一直延伸到 0.8B 的模型家族,开辟了一条从云端 GPU 集群到准专业级 GPU 工作站、再到纯 CPU 边缘设备的潜在部署路径。如果准确率随规模下降得足够平缓,公司能服务的市场就会比单靠 31B 旗舰模型宽得多。
第三个是开发者采用数据。社区榜单上的基准领先,只有在开发者选择基于该模型构建时才会转化为生产收入。MachinePulse 面临的关键问题是:围绕 Karpo 的 HuggingFace 下载量和 GitHub 活跃度能否转化为生产部署,还是开发者会继续把决策工作负载交给 TypeSafe 的 Jev。Jev 拥有品类成熟度、现成的 SDK 生态和企业级支持,这些是一家早期创业公司仅凭开放权重无法立即复制的。
第四个是谷歌的回应。Gemini Decision 1 发布时延迟为 150 到 250 毫秒,也没有谷歌模型发布时通常享有的社区基准领先地位。从谷歌在竞争性 AI 市场的历史看,它的迭代周期很快:一款准确率更高、延迟更低、多模态能力更强,或与谷歌云数据流水线原生集成的 Gemini Decision 1.5 或 Gemini Decision Pro,可能很快改变竞争排名。在需要多模态推理的决策任务上,比如基于视频内容的路由决策、基于图像质量的评分决策、基于音频的审批决策,谷歌也有天然优势,而 Karpo 目前无法以同等规模处理这些任务。
第五个值得关注的信号是中国 AI 实验室进入决策模型品类。这个品类由一家美国创业公司开创,但它的核心训练范式(用线性读出头微调基座大语言模型、施加强化学习校准、针对结构化输出优化推理)在技术上并不复杂。阿里巴巴的通义千问团队、字节跳动的豆包团队和百度的文心团队,都既有基座模型,也有 RLHF 方面的专长,能够迅速进入这一领域。
最后,TypeSafe 如何回应开源挑战,触及一个根本问题:决策模型品类会形成可持续的商业结构,还是滑向商品化的基础设施。TypeSafe 在一个仅诞生 58 天的品类里做到 1 亿美元 ARR,堪称非凡,但这是在开源阵营追平基准差距之前取得的。面对 Karpo 这样采用 Apache 许可的替代品,Jev 的商业领先能守住多久、被侵蚀得多快,将是未来几个月 AI 基础设施领域最受关注的指标之一:不是一项评测分数,而是一项收入指标。如果 TypeSafe 能在开源竞争下把 ARR 维持或扩大到 2027 年,那将证明决策模型品类具备持久的商业结构。如果 ARR 增长明显放缓,则说明这一品类的价值正在向应用层集中,而 MachinePulse 的 Karpo 个人智能体等产品已经在那里布局。



