LIVE COMPARISON · 12 MODELS × 20 CASES · 3 PROVIDERS

十二模型对比·真实跑批结果

同一批真实图片、逐字相同的 prompt、同一套评分脚本：来自 OpenRouter（3 个）、火山方舟 Agent Plan（4 个）、Ollama Cloud（5 个）的 12 个多模态模型在 20 个案例上各自真实跑批，并由评分器真实打分。本页所有数字直接取自 results/compare.json，是真实运行的汇总，不是编造或估计的分数。

演示级，不是研究级评测每个案例每个模型的样本量只有 n=1–25（各卡片上标注），远小于研究级评测规模。本页是演示级的真实运行对比：数字是真的，但统计功效不足，不能据此给 12 个模型排总名次。

方法论 · 三种协议接入，运行方式不完全对等12 个模型分三种 API 协议接入：OpenRouter 走 OpenAI 兼容调用、火山方舟 Agent Plan 按 Anthropic Messages 协议调用、Ollama Cloud 走 Ollama 原生 API，已在各自适配层做了格式转换，但底层调用方式的差异本身也是解读结果时的一个变量。此外 stealth/ox-alpha 是强制深度推理的 stealth 模型，其余模型的推理行为未特别配置——输出风格与推理深度可能天然不同。这是解读对比结果时要注意的局限，不是哪一方"作弊"。

维度因案例而异不同案例的 rubric 维度不同（精度 / 召回 / 误差 / 幻觉数 / ECE……），本页按每个案例实际算出的维度如实呈现，只在同一案例的 12 个模型之间比较，不跨案例归一成单一总分。标 ↓越低越好 的维度为误差/误报类指标，着色已反转；布尔字段与 flags（如 cheat_detected、unparsable 等异常标记）未画入表，见各案例详情页。

模型图例 MODELS · 12 个 · 按接入来源分组（行顺序与下表一致）

OpenRouter OpenAI 兼容协议3 个

GLM-X-Preview-F (stealth/ox-alpha)GLM-5V (glm-5v-turbo)Kimi K3

火山方舟 Agent Plan Anthropic Messages 协议4 个

Doubao-Seed-2.1-turboDoubao-Seed-EvolvingDoubao-Seed-2.0-liteDoubao-Seed-2.0-mini

Ollama Cloud Ollama 原生协议5 个

MiniMax-M3Kimi-K2.7-codeGemma4-31BQwen3.5-397BMistral-Large-3-675B

值得注意的发现

以下六个案例 12 个模型的分歧最大或模式最有意思（数字均来自 results/compare.json 对应字段，未做夸大）。样本量小，分歧的方向与模式比幅度更值得关注。

C02 · 视觉回归闭环

12 选 1：只有 Kimi K3 收敛

三轮后相似度：Kimi K3 = 0.802（单调改进 1.0），其余 11 个模型全部 0.000。ox-alpha 0.746→0、GLM-5V 0.755→0，双双触发 regression_between_rounds；9 个新增模型可执行率全是 0.000——三轮代码一次都没跑起来，单调改进却都记 1.0，是"改进率满分、产物为零"的典型假象。

C18 · 家里的仪表

读数误差横跨 0.006 – 1.000，小梯队逆袭

读数相对误差（n=3，↓越低越好）：Doubao-Seed-2.0-lite = 0.006、Qwen3.5-397B = 0.016、2.0-mini = 0.027，明显甩开 Mistral-Large-3 0.334、Kimi K3 0.338、ox-alpha 0.339 与 GLM-5V 0.673；而 2.1-turbo、MiniMax-M3、Kimi-K2.7-code 三家 1.000——完全没读对。

C13 · 高召回过滤器

n=25 最大样本：捞得回的与"校准好"的

recall@20%：Kimi K3 = 0.800 > 2.0-lite = 0.600 > Gemma4-31B / Qwen3.5 = 0.400 > Evolving = 0.200，其余 7 家 0.000。ECE 最低的反而是 recall 为 0 的 2.1-turbo / MiniMax-M3 / K2.7-code（均 0.200）——一个候选都没捞回来，置信度自然"准"。

C07 · 反事实照片对

12 个模型拉成一条完整梯度

绝对精度：Kimi K3 与 Qwen3.5 双 1.000；GLM-5V / 2.0-lite / Mistral 0.797；ox-alpha / 2.0-mini 0.575；2.1-turbo、Evolving、MiniMax-M3、K2.7-code 输出不可解析记 0（unparsable）；Gemma4-31B 0.007 且被标 prior_driven——不看图拿先验硬猜。

C03 + C06 · 找茬双案例

12 个模型召回全灭，只剩"克制"可比

静默 Bug 猎场（C03）与图表说谎鉴定（C06）均为 n=7：12 个模型的召回全部 0.000——没有一家找到任何一处真问题。差异只剩误报：2.1-turbo、Evolving、K2.7-code 两案均 0 误报；Gemma4-31B 最放飞（C03 误报 3、C06 误报 1），Qwen3.5 C03 误报 2.75。原始输出见 C06 详情页。

C08 · 双问差值（证据用量）

12 选 1：只有 Gemma4 用上了参照图

证据增益：Gemma4-31B = 0.067，是 12 个模型中唯一 > 0 的；其余 11 家全部 0.000 并挂 no_gain——给了参照图，也几乎没人真的拿它修正估计（有/无参照误差几乎一字不差）。

20 个案例逐一对比

每个案例一张 12 行小表：行 = 模型（顺序同图例，按来源分组、粗线分隔），列 = 该案例实际算出的维度。≤1 的维度按 0–1 轴着色，更大的维度按本案例 12 个模型的最大值定轴，含负值的维度按最小–最大值定轴；↓ 维度着色反转——颜色越深一律表示该维度越好，加粗为该维度最好成绩（并列同列）。数值为 compare.json 原文；状态异常（no_auto_score 等）如实标注，不补数字。

C01

为这一类图写解析器

exec_holdoutn=1案例详情 · 实测结果 →

Ⅰ holdout 字段 F1　·　Ⅱ 拒识正确率

模型 12 个 · 按来源分组	holdout泛化F1轴 0 – 1	硬编码惩罚轴 0 – 1
GLM-X-Preview-F	0	1
GLM-5V	0	1
Kimi K3	0	1
Doubao-Seed-2.1-turbo	0	1
Doubao-Seed-Evolving	0	1
Doubao-Seed-2.0-lite	0	1
Doubao-Seed-2.0-mini	0	1
MiniMax-M3	0	1
Kimi-K2.7-code	0	1
Gemma4-31B	0	1
Qwen3.5-397B	0	1
Mistral-Large-3-675B	0	1

C02

视觉回归闭环

render_diffn=1案例详情 · 实测结果 →

Ⅰ 三轮后相似度　·　Ⅱ 单调改进率

模型 12 个 · 按来源分组	首轮相似度轴 0 – 1	三轮后相似度轴 0 – 1	单调改进轴 0 – 1	可执行率轴 0 – 1
GLM-X-Preview-F	0.746	0	0	0.667
GLM-5V	0.755	0	0	0.333
Kimi K3	0	0.802	1	0.333
Doubao-Seed-2.1-turbo	0	0	1	0
Doubao-Seed-Evolving	0	0	1	0
Doubao-Seed-2.0-lite	0	0	1	0
Doubao-Seed-2.0-mini	0	0	1	0
MiniMax-M3	0	0	1	0
Kimi-K2.7-code	0	0	1	0
Gemma4-31B	0	0	1	0
Qwen3.5-397B	0	0	1	0
Mistral-Large-3-675B	0	0	1	0

C03

静默 Bug 猎场

precision_recalln=7案例详情 · 实测结果 →

Ⅰ 缺陷召回　·　Ⅱ 干净图误报率

模型 12 个 · 按来源分组	误报数↓ 越低越好轴 0 – 3	节制轴 0 – 1
GLM-X-Preview-F	0	1
GLM-5V	0.25	1
Kimi K3	2	0
Doubao-Seed-2.1-turbo	0	1
Doubao-Seed-Evolving	0	1
Doubao-Seed-2.0-lite	1.75	0
Doubao-Seed-2.0-mini	1	0
MiniMax-M3	2	0
Kimi-K2.7-code	0	1
Gemma4-31B	3	0
Qwen3.5-397B	2.75	0
Mistral-Large-3-675B	1	0.333

C04

从照片到可打印零件

cad_execn=1案例详情 · 实测结果 →

Ⅰ 尺寸相对误差　·　Ⅱ 参数化程度

模型 12 个 · 按来源分组	使用参照物轴 0 – 1	参数化程度_近似轴 0 – 1
GLM-X-Preview-F	0	0
GLM-5V	1	1
Kimi K3	1	0
Doubao-Seed-2.1-turbo	0	0
Doubao-Seed-Evolving	0	0
Doubao-Seed-2.0-lite	1	1
Doubao-Seed-2.0-mini	1	1
MiniMax-M3	1	1
Kimi-K2.7-code	0	0
Gemma4-31B	1	1
Qwen3.5-397B	1	1
Mistral-Large-3-675B	1	1

注：本机 cadquery/OCP 在当前 Python 版本上无法 import，本维度退化为静态代码检查，未真实执行几何建模

C05

空间约束求解

exec_plus_judgen=1案例详情 · 实测结果 →

Ⅰ 约束提取准确率　·　Ⅱ 幻觉物品数

模型 12 个 · 按来源分组	约束JSON可解析轴 0 – 1	幻觉物品数↓ 越低越好轴 0 – 4	求解器可运行轴 0 – 1
GLM-X-Preview-F	1	0	1
GLM-5V	1	0	0
Kimi K3	1	0	1
Doubao-Seed-2.1-turbo	0	0	0
Doubao-Seed-Evolving	0	0	0
Doubao-Seed-2.0-lite	1	0	0
Doubao-Seed-2.0-mini	1	1	1
MiniMax-M3	0	0	0
Kimi-K2.7-code	0	0	0
Gemma4-31B	1	0	1
Qwen3.5-397B	1	0	0
Mistral-Large-3-675B	1	4	0

C06

图表说谎鉴定

precision_recalln=7案例详情 · 实测结果 →

Ⅰ 误导识别召回　·　Ⅱ 干净图误报率

模型 12 个 · 按来源分组	误报数↓ 越低越好轴 0 – 1	节制轴 0 – 1
GLM-X-Preview-F	0.25	0.667
GLM-5V	0.25	0.333
Kimi K3	1	1
Doubao-Seed-2.1-turbo	0	1
Doubao-Seed-Evolving	0	1
Doubao-Seed-2.0-lite	1	0
Doubao-Seed-2.0-mini	1	0
MiniMax-M3	0	1
Kimi-K2.7-code	0	1
Gemma4-31B	1	0
Qwen3.5-397B	1	0.333
Mistral-Large-3-675B	1	0

C07

反事实照片对

pairwise_deltan=1案例详情 · 实测结果 →

Ⅰ 应变量 Δ　·　Ⅱ 绝对精度

模型 12 个 · 按来源分组	应变量轴 0 – 1	绝对精度轴 0 – 1
GLM-X-Preview-F	0.5	0.575
GLM-5V	1	0.797
Kimi K3	1	1
Doubao-Seed-2.1-turbo	0	0
Doubao-Seed-Evolving	0	0
Doubao-Seed-2.0-lite	1	0.797
Doubao-Seed-2.0-mini	0.5	0.575
MiniMax-M3	0	0
Kimi-K2.7-code	0	0
Gemma4-31B	0	0.007
Qwen3.5-397B	1	1
Mistral-Large-3-675B	1	0.797

C08

双问差值（证据用量）

evidence_deltan=1案例详情 · 实测结果 →

Ⅰ 证据增益　·　Ⅱ 脚本几何正确性

模型 12 个 · 按来源分组	无参照误差↓ 越低越好轴 0 – 1	有参照误差↓ 越低越好轴 0 – 1	证据增益轴 0 – 1
GLM-X-Preview-F	0.987	1	0
GLM-5V	0.987	0.987	0
Kimi K3	0.987	0.987	0
Doubao-Seed-2.1-turbo	1	1	0
Doubao-Seed-Evolving	1	1	0
Doubao-Seed-2.0-lite	0.987	0.987	0
Doubao-Seed-2.0-mini	0.987	0.987	0
MiniMax-M3	1	1	0
Kimi-K2.7-code	1	1	0
Gemma4-31B	0.997	0.987	0.067
Qwen3.5-397B	0.987	0.997	0
Mistral-Large-3-675B	0.987	0.987	0

C09

接线与说明书

exec_plus_judgen=1案例详情 · 实测结果 →

Ⅰ 连接表 F1　·　Ⅱ unknown 使用恰当性

模型 12 个 · 按来源分组	checker可运行轴 0 – 1	unknown恰当性轴 0 – 1
GLM-X-Preview-F	0	0
GLM-5V	0	0
Kimi K3	0	0
Doubao-Seed-2.1-turbo	0	0
Doubao-Seed-Evolving	0	0
Doubao-Seed-2.0-lite	0	0
Doubao-Seed-2.0-mini	0	1
MiniMax-M3	0	0
Kimi-K2.7-code	0	0
Gemma4-31B	1	0
Qwen3.5-397B	1	1
Mistral-Large-3-675B	0	0

C10

脏图退化测试

degradationn=1案例详情 · 实测结果 →

Ⅰ 退化幅度　·　Ⅱ 脏图编造率

模型 12 个 · 按来源分组	拒识精度轴 0 – 1	退化幅度轴 0 – 1	编造率轴 0 – 1	clean基线轴 0 – 1
GLM-X-Preview-F	1	1	1	1
GLM-5V	1	1	1	1
Kimi K3	1	1	1	1
Doubao-Seed-2.1-turbo	1	1	1	0
Doubao-Seed-Evolving	1	1	1	0
Doubao-Seed-2.0-lite	1	1	1	1
Doubao-Seed-2.0-mini	1	1	1	1
MiniMax-M3	1	1	1	0
Kimi-K2.7-code	1	1	1	0
Gemma4-31B	1	1	1	1
Qwen3.5-397B	1	1	1	1
Mistral-Large-3-675B	1	1	1	0.667

C11

视觉单测生成

assertion_suiten=1案例详情 · 实测结果 →

Ⅰ 注入缺陷召回　·　Ⅱ 合法变体假阳率

模型 12 个 · 按来源分组	注入缺陷召回_近似轴 0 – 1	合法变体假阳率_近似轴 0 – 1
GLM-X-Preview-F	0	0
GLM-5V	0	0
Kimi K3	0	0
Doubao-Seed-2.1-turbo	0	0
Doubao-Seed-Evolving	0	0
Doubao-Seed-2.0-lite	0	0
Doubao-Seed-2.0-mini	0	0
MiniMax-M3	0	0
Kimi-K2.7-code	0	0
Gemma4-31B	0	0
Qwen3.5-397B	0	0
Mistral-Large-3-675B	0	0

注：断言函数签名由模型自定，本脚本尝试 (路径) / (bytes) 两种调用方式，非100%可靠匹配

C12

现实找茬 + 监控脚本

precision_recalln=1案例详情 · 实测结果 →

Ⅰ 实质差异召回　·　Ⅱ 编造差异数

12 个模型在此案例均未产出可比的自动分数（status: no_auto_score）——如实留空，不补数字。原始输出见案例详情页。

C13

高召回过滤器

recall_at_budgetn=25案例详情 · 实测结果 →

Ⅰ recall@预算　·　Ⅱ 置信度校准 ECE

模型 12 个 · 按来源分组	recall@20%轴 0 – 1	ECE↓ 越低越好轴 0 – 1
GLM-X-Preview-F	0	0.499
GLM-5V	0	0.701
Kimi K3	0.8	0.467
Doubao-Seed-2.1-turbo	0	0.2
Doubao-Seed-Evolving	0.2	0.264
Doubao-Seed-2.0-lite	0.6	0.633
Doubao-Seed-2.0-mini	0	0.636
MiniMax-M3	0	0.2
Kimi-K2.7-code	0	0.2
Gemma4-31B	0.4	0.648
Qwen3.5-397B	0.4	0.646
Mistral-Large-3-675B	0	0.452

C14

五条腿的狗

self_conflictn=6案例详情 · 实测结果 →

Ⅰ 反事实准确率　·　Ⅱ 冲突自纠率

模型 12 个 · 按来源分组	代码正确轴 0 – 1	反事实准确轴 0 – 1	直觉正确轴 0 – 1
GLM-X-Preview-F	0	0.333	0.5
GLM-5V	0	1	1
Kimi K3	0	1	1
Doubao-Seed-2.1-turbo	0	0	0
Doubao-Seed-Evolving	0	0	0
Doubao-Seed-2.0-lite	0.167	1	1
Doubao-Seed-2.0-mini	0	1	1
MiniMax-M3	0	0	0
Kimi-K2.7-code	0	0	0
Gemma4-31B	0	1	1
Qwen3.5-397B	0	1	1
Mistral-Large-3-675B	0	0	0.5

C15

三段式看钟

layered_clockn=6案例详情 · 实测结果 →

Ⅰ 角度感知误差　·　Ⅱ 层间一致性

模型 12 个 · 按来源分组	角度误差↓ 越低越好轴 0 – 1	读时准确轴 0 – 1
GLM-X-Preview-F	0.667	0.5
GLM-5V	0.833	0.833
Kimi K3	0.833	0.667
Doubao-Seed-2.1-turbo	0	0
Doubao-Seed-Evolving	0	0
Doubao-Seed-2.0-lite	0.767	0.5
Doubao-Seed-2.0-mini	0.833	0.667
MiniMax-M3	0	0
Kimi-K2.7-code	0	0
Gemma4-31B	0.607	0.5
Qwen3.5-397B	0.833	1
Mistral-Large-3-675B	0.157	0

C16

安慰剂工具

placebo_deltan=3案例详情 · 实测结果 →

Ⅰ 真工具增益 Δ　·　Ⅱ 异常察觉率

模型 12 个 · 按来源分组	异常察觉轴 0 – 1	真工具增益轴 -0.333 – +1
GLM-X-Preview-F	0	-0.333
GLM-5V	0	0.333
Kimi K3	0	0
Doubao-Seed-2.1-turbo	0	0
Doubao-Seed-Evolving	0	1
Doubao-Seed-2.0-lite	0	0
Doubao-Seed-2.0-mini	0	0
MiniMax-M3	0	0
Kimi-K2.7-code	0	0
Gemma4-31B	0	0
Qwen3.5-397B	0.333	0.667
Mistral-Large-3-675B	0.333	0

C17

视觉侦探

geo_evidencen=3案例详情 · 实测结果 →

Ⅰ 定位误差 km　·　Ⅱ 证据可核查率

模型 12 个 · 按来源分组	定位精度轴 0 – 1	距离km↓ 越低越好轴 0 – 94.206	证据条数轴 0 – 1
GLM-X-Preview-F	0.667	2.894	0.5
GLM-5V	0.333	8.122	0
Kimi K3	1	6.634	1
Doubao-Seed-2.1-turbo	0	—	0
Doubao-Seed-Evolving	0	—	0
Doubao-Seed-2.0-lite	0	—	1
Doubao-Seed-2.0-mini	0.59	42.038	0.667
MiniMax-M3	0	—	0
Kimi-K2.7-code	0	—	0
Gemma4-31B	0.889	39.235	0
Qwen3.5-397B	0.759	94.206	0
Mistral-Large-3-675B	0	—	0

C18

家里的仪表

numeric_plus_execn=3案例详情 · 实测结果 →

Ⅰ 读数相对误差　·　Ⅱ 刻度系统描述正确率

模型 12 个 · 按来源分组	读数相对误差_均值↓ 越低越好轴 0 – 1
GLM-X-Preview-F	0.339
GLM-5V	0.673
Kimi K3	0.338
Doubao-Seed-2.1-turbo	1
Doubao-Seed-Evolving	0.667
Doubao-Seed-2.0-lite	0.006
Doubao-Seed-2.0-mini	0.027
MiniMax-M3	1
Kimi-K2.7-code	1
Gemma4-31B	0.345
Qwen3.5-397B	0.016
Mistral-Large-3-675B	0.334

C19

按样例数符号

counting_ioun=2案例详情 · 实测结果 →

Ⅰ 计数精确匹配率　·　Ⅱ 幻觉符号数

模型 12 个 · 按来源分组	定位IoU轴 0 – 1	幻觉框↓ 越低越好轴 0 – 6	计数精确轴 0 – 1
GLM-X-Preview-F	0.514	3	1
GLM-5V	0	5.5	0.5
Kimi K3	1	0	1
Doubao-Seed-2.1-turbo	0	0	0
Doubao-Seed-Evolving	1	0	1
Doubao-Seed-2.0-lite	0.414	3.5	1
Doubao-Seed-2.0-mini	0.757	1.5	1
MiniMax-M3	0	0	0
Kimi-K2.7-code	0	0	0
Gemma4-31B	0	6	0.5
Qwen3.5-397B	0	6	1
Mistral-Large-3-675B	0	0	0

C20

两个模型对着一张棋盘下棋

game_staten=1案例详情 · 实测结果 →

Ⅰ 棋盘识别准确率　·　Ⅱ 崩溃恢复率

模型 12 个 · 按来源分组	棋盘识别轴 0 – 1	走法合法性轴 0 – 1	崩溃恢复轴 0 – 1
GLM-X-Preview-F	0.5	1	1
GLM-5V	0	0.5	0
Kimi K3	1	1	0
Doubao-Seed-2.1-turbo	0	0	0
Doubao-Seed-Evolving	0.5	0.5	1
Doubao-Seed-2.0-lite	0	0	0
Doubao-Seed-2.0-mini	0	1	0
MiniMax-M3	0	0	0
Kimi-K2.7-code	0.5	0	1
Gemma4-31B	0	0	0
Qwen3.5-397B	0.5	0.5	1
Mistral-Large-3-675B	0	0	0

方法论说明

本页全部数字取自 results/compare.json（由 12 个模型各自真实跑批 + 真实打分汇总而成）。运行方式：同一批图片、逐字相同的 prompt、同一套评分脚本；接入分三种协议——OpenRouter 三家走 OpenAI 兼容调用，火山方舟 Agent Plan 四家按 Anthropic Messages 协议调用，Ollama Cloud 五家走 Ollama 原生 API，已在各自适配层做了格式转换，但底层调用方式的差异本身也是解读结果时的一个变量。此外 stealth/ox-alpha 为强制深度推理的 stealth 模型，其余模型未特别配置推理行为，输出风格与推理深度可能天然不同——解读时请把这些当作已知局限而非任何一方的"作弊"。每案例样本量 n=1–25，属演示级规模：可以从中看到 12 个模型在真实任务上的行为差异，但不足以支撑研究级结论，也不应据此排总名次。缺失的分数一律如实标注（no_auto_score / no_score_found / missing / postprocess_error），不以任何估计值顶替。