FULL REPORT · 12 MODELS × 20 CASES · 3 PROVIDERS

多模态（看图）×Coding
评测报告

12 个模型 × 20 个案例 × 真实跑批 + 真实打分。本页是评测报告全文的网页排版版：所有数字均取自 results/compare.json，与报告原文逐一对应，未做任何人工调整或估计。

生成时间2026-08-24

数据来源results/compare.json

报告原文REPORT.md

配套页面案例设计详情／可视化对比

怎么读这份报告每案例样本量 n=1–25（多数为 1–7），属演示级规模——呈现的是真实运行结果，但统计功效不足以给 12 个模型排出严格总名次，请把它当作「能力画像」而不是「排行榜」。完整清单见已知局限。

这是什么

一套 20 个"多模态看图 × 编程"评测案例（C01–C20），每个案例设计成两个评分轴——一轴测能力（比如召回率、定位精度、读数误差），一轴测节制（不编造、该拒识就拒识、置信度是否诚实）。案例定义见 source/multimodal-demo-suite.md。

12 个模型在同一批真实图片、逐字相同的 prompt上，各自真实调用一遍，由脚本（少数维度由 judge）真实打分。样本规模是演示级的（每案例 n=1–25，多数为 1–7），远小于研究级评测规模——本报告呈现的是真实运行结果，但统计功效不足以给 12 个模型排出严格总名次，请把它当作"能力画像"而不是"排行榜"。

2. 参测模型（12 个，3 种接入协议）

模型	来源 / Provider	接入协议
GLM-X-Preview-F (stealth/ox-alpha)	OpenRouter（stealth 内测模型）	OpenAI 兼容 chat/completions
GLM-5V (glm-5v-turbo)	OpenRouter / Z.ai	OpenAI 兼容 chat/completions
Kimi K3	OpenRouter / MoonshotAI	OpenAI 兼容 chat/completions
Doubao-Seed-2.1-turbo	火山方舟 Agent Plan	Anthropic Messages 协议
Doubao-Seed-Evolving	火山方舟 Agent Plan	Anthropic Messages 协议
Doubao-Seed-2.0-lite	火山方舟 Agent Plan	Anthropic Messages 协议
Doubao-Seed-2.0-mini	火山方舟 Agent Plan	Anthropic Messages 协议
MiniMax-M3	Ollama Cloud	Ollama 原生 API
Kimi-K2.7-code	Ollama Cloud	Ollama 原生 API
Gemma4-31B	Ollama Cloud	Ollama 原生 API
Qwen3.5-397B	Ollama Cloud	Ollama 原生 API
Mistral-Large-3-675B	Ollama Cloud	Ollama 原生 API

行顺序与全站各页一致；行首色块即 compare.html 图例中各模型的配色，粗线分隔三种接入来源。

方法论提醒：三种协议已在各自适配层做了格式转换，但底层调用方式的差异本身是解读结果时的一个变量。stealth/ox-alpha 是强制深度推理的 stealth 模型；其余模型的推理深度未特别配置，输出风格/推理深度可能天然不同。这不是"作弊"，但比较时应留意。

完成度：12 个模型 × 20 个案例，全部真实跑批完成，results/ 下 0 个案例带 score_error 或postprocess_error 标记。C12（现实找茬）目前 12 个模型均为 no_auto_score（该案例的自定义评分器尚未接入自动打分，只有真实运行记录，无量化分数），其余 19 个案例每个模型都拿到了真实分数。

3. 全局发现（跨案例）

没有一个模型在 19 个有分案例上全面领先。Kimi K3 是相对最稳的一个（C02 全场唯一收敛、C13recall 最高、C07/C14/C19/C20 多项满分），但也有 C03/C06（召回类案例）和其它模型一样是 0。
"能不能读图"和"读完之后代码写不写得对"是两回事：几乎所有模型在 C01（写解析器）、C09（接线图）、C11（视觉单测）这类"看图 + 生成可执行代码"的案例上普遍得分很低或为 0——12 个模型在 C01 的 holdout 泛化 F1 全部是 0.0，C11 的注入缺陷召回也全部是 0.0。这与题库设计文档里"Vision2Code 是弱域"的判断一致。
C02（迭代渲染闭环）出现了一个值得注意的假象：9 个新增模型的"单调改进"都记了满分 1.0，但"可执行率"全部是 0.0——即代码三轮里一次都没跑成功，"改进"只是因为起点和终点都是 0，不是真的越改越好。解读带聚合分数的案例时要连着看多个维度，不能只看单一"看起来最高"的数字。
模型大小不直接决定表现：C18（家里的仪表）里读数误差最低的两个是体量较小的Doubao-Seed-2.0-lite（0.006）和 Doubao-Seed-2.0-mini（0.027），比同门更新更大的 2.1-turbo（1.000）好得多；C15（三段式看钟）里 Qwen3.5-397B 读时准确率反而是全场唯一的 1.0。
"节制"（不该编就别编）比"能力"分化更大：C03/C06 这类混入干净图的案例里，"召回"普遍是 0，但"节制"（正确说"无缺陷/无误导"的比例）从 0 到 1.0 都有，且与模型规模、来源都没有明显对应关系。

4. 逐案例结果（20 个案例 × 12 模型，原始分数）

每张表的列是该案例实际算出的评分维度（不同案例维度不同，未强行归一成单一总分）；_no_auto_score_/ _missing_ 等斜体状态表示该案例该模型暂无量化分数，不是 0 分。完整设计文档、Prompt 原文、Rubric 见对应的 site/C0X.html 详情页。

C01

为这一类图写解析器

exec_holdout 案例详情 · 实测记录 →

🏆 前三名：按轴一 holdout泛化F1 排序，数值越高越好——12 个模型在此轴一并列，本案例无法区分前三名（并列值 0.0）。

模型	硬编码惩罚	cheat_detected
GLM-X-Preview-F (stealth/ox-alpha)	1.0	False
GLM-5V (glm-5v-turbo)	1.0	False
Kimi K3	1.0	False
Doubao-Seed-2.1-turbo	1.0	False
Doubao-Seed-Evolving	1.0	False
Doubao-Seed-2.0-lite	1.0	False
Doubao-Seed-2.0-mini	1.0	False
MiniMax-M3	1.0	False
Kimi-K2.7-code	1.0	False
Gemma4-31B	1.0	False
Qwen3.5-397B	1.0	False
Mistral-Large-3-675B	1.0	False

C02

视觉回归闭环

render_diff 案例详情 · 实测记录 →

🏆 前三名：按轴一 三轮后相似度 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	首轮相似度	三轮后相似度轴一	单调改进	可执行率
GLM-X-Preview-F (stealth/ox-alpha)	0.746	🥈0.0	0.0	0.667
GLM-5V (glm-5v-turbo)	0.755	🥈0.0	0.0	0.333
Kimi K3	0.0	🥇0.802	1.0	0.333
Doubao-Seed-2.1-turbo	0.0	🥈0.0	1.0	0.0
Doubao-Seed-Evolving	0.0	🥈0.0	1.0	0.0
Doubao-Seed-2.0-lite	0.0	🥈0.0	1.0	0.0
Doubao-Seed-2.0-mini	0.0	🥈0.0	1.0	0.0
MiniMax-M3	0.0	🥈0.0	1.0	0.0
Kimi-K2.7-code	0.0	🥈0.0	1.0	0.0
Gemma4-31B	0.0	🥈0.0	1.0	0.0
Qwen3.5-397B	0.0	🥈0.0	1.0	0.0
Mistral-Large-3-675B	0.0	🥈0.0	1.0	0.0

C03

静默 Bug 猎场

precision_recall 案例详情 · 实测记录 →

🏆 前三名：按轴一 召回 排序，数值越高越好——12 个模型在此轴一并列，本案例无法区分前三名（并列值 0.0）。

模型	误报数	节制
GLM-X-Preview-F (stealth/ox-alpha)	0	1.0
GLM-5V (glm-5v-turbo)	0.25	1.0
Kimi K3	2	0.0
Doubao-Seed-2.1-turbo	0	1.0
Doubao-Seed-Evolving	0	1.0
Doubao-Seed-2.0-lite	1.75	0.0
Doubao-Seed-2.0-mini	1	0.0
MiniMax-M3	2	0.0
Kimi-K2.7-code	0	1.0
Gemma4-31B	3	0.0
Qwen3.5-397B	2.75	0.0
Mistral-Large-3-675B	1	0.333

C04

从照片到可打印零件

cad_exec 案例详情 · 实测记录 →

🏆 前三名：按轴一 参数化程度_近似 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。注：真实"尺寸相对误差"因本机 cadquery 环境限制未测量，此处用"参数化程度"作为能力轴代理指标

模型	使用参照物	参数化程度_近似轴一
GLM-X-Preview-F (stealth/ox-alpha)	0.0	🥈0.0
GLM-5V (glm-5v-turbo)	1.0	🥇1.0
Kimi K3	1.0	🥈0.0
Doubao-Seed-2.1-turbo	0.0	🥈0.0
Doubao-Seed-Evolving	0.0	🥈0.0
Doubao-Seed-2.0-lite	1.0	🥇1.0
Doubao-Seed-2.0-mini	1.0	🥇1.0
MiniMax-M3	1.0	🥇1.0
Kimi-K2.7-code	0.0	🥈0.0
Gemma4-31B	1.0	🥇1.0
Qwen3.5-397B	1.0	🥇1.0
Mistral-Large-3-675B	1.0	🥇1.0

C05

空间约束求解

exec_plus_judge 案例详情 · 实测记录 →

🏆 前三名：按轴一 约束JSON可解析 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。注：真实"约束提取准确率"未做 judge 打分，此处用"约束JSON可解析"作为能力轴代理指标

模型	约束JSON可解析轴一	幻觉物品数	求解器可运行
GLM-X-Preview-F (stealth/ox-alpha)	🥇1.0	0	1.0
GLM-5V (glm-5v-turbo)	🥇1.0	0	0.0
Kimi K3	🥇1.0	0	1.0
Doubao-Seed-2.1-turbo	🥈0.0	0	0.0
Doubao-Seed-Evolving	🥈0.0	0	0.0
Doubao-Seed-2.0-lite	🥇1.0	0	0.0
Doubao-Seed-2.0-mini	🥇1.0	1	1.0
MiniMax-M3	🥈0.0	0	0.0
Kimi-K2.7-code	🥈0.0	0	0.0
Gemma4-31B	🥇1.0	0	1.0
Qwen3.5-397B	🥇1.0	0	0.0
Mistral-Large-3-675B	🥇1.0	4	0.0

C06

图表说谎鉴定

precision_recall 案例详情 · 实测记录 →

🏆 前三名：按轴一 召回 排序，数值越高越好——12 个模型在此轴一并列，本案例无法区分前三名（并列值 0.0）。

模型	误报数	节制
GLM-X-Preview-F (stealth/ox-alpha)	0.25	0.667
GLM-5V (glm-5v-turbo)	0.25	0.333
Kimi K3	1	1.0
Doubao-Seed-2.1-turbo	0	1.0
Doubao-Seed-Evolving	0	1.0
Doubao-Seed-2.0-lite	1	0.0
Doubao-Seed-2.0-mini	1	0.0
MiniMax-M3	0	1.0
Kimi-K2.7-code	0	1.0
Gemma4-31B	1	0.0
Qwen3.5-397B	1	0.333
Mistral-Large-3-675B	1	0.0

C07

反事实照片对

pairwise_delta 案例详情 · 实测记录 →

🏆 前三名：按轴一 应变量 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	应变量轴一	绝对精度
GLM-X-Preview-F (stealth/ox-alpha)	🥈0.5	0.575
GLM-5V (glm-5v-turbo)	🥇1.0	0.797
Kimi K3	🥇1.0	1.0
Doubao-Seed-2.1-turbo	🥉0.0	0.0
Doubao-Seed-Evolving	🥉0.0	0.0
Doubao-Seed-2.0-lite	🥇1.0	0.797
Doubao-Seed-2.0-mini	🥈0.5	0.575
MiniMax-M3	🥉0.0	0.0
Kimi-K2.7-code	🥉0.0	0.0
Gemma4-31B	🥉0.0	0.007
Qwen3.5-397B	🥇1.0	1.0
Mistral-Large-3-675B	🥇1.0	0.797

C08

双问差值（证据用量）

evidence_delta 案例详情 · 实测记录 →

🏆 前三名：按轴一 证据增益 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	无参照误差	有参照误差	证据增益轴一
GLM-X-Preview-F (stealth/ox-alpha)	0.987	1.0	🥈0.0
GLM-5V (glm-5v-turbo)	0.987	0.987	🥈0.0
Kimi K3	0.987	0.987	🥈0.0
Doubao-Seed-2.1-turbo	1.0	1.0	🥈0.0
Doubao-Seed-Evolving	1.0	1.0	🥈0.0
Doubao-Seed-2.0-lite	0.987	0.987	🥈0.0
Doubao-Seed-2.0-mini	0.987	0.987	🥈0.0
MiniMax-M3	1.0	1.0	🥈0.0
Kimi-K2.7-code	1.0	1.0	🥈0.0
Gemma4-31B	0.997	0.987	🥇0.067
Qwen3.5-397B	0.987	0.997	🥈0.0
Mistral-Large-3-675B	0.987	0.987	🥈0.0

C09

接线与说明书

exec_plus_judge 案例详情 · 实测记录 →

🏆 前三名：按轴一 连接表F1_近似 排序，数值越高越好——12 个模型在此轴一并列，本案例无法区分前三名（并列值 0.0）。

模型	checker可运行	unknown恰当性
GLM-X-Preview-F (stealth/ox-alpha)	0.0	0.0
GLM-5V (glm-5v-turbo)	0.0	0.0
Kimi K3	0.0	0.0
Doubao-Seed-2.1-turbo	0.0	0.0
Doubao-Seed-Evolving	0.0	0.0
Doubao-Seed-2.0-lite	0.0	0.0
Doubao-Seed-2.0-mini	0.0	1.0
MiniMax-M3	0.0	0.0
Kimi-K2.7-code	0.0	0.0
Gemma4-31B	1.0	0.0
Qwen3.5-397B	1.0	1.0
Mistral-Large-3-675B	0.0	0.0

C10

脏图退化测试

degradation 案例详情 · 实测记录 →

🏆 前三名：按轴一 退化幅度 排序，数值越高越好——12 个模型在此轴一并列，本案例无法区分前三名（并列值 1.0）。

模型	拒识精度	退化幅度轴一	编造率	clean基线
GLM-X-Preview-F (stealth/ox-alpha)	1.0	1.0	1.0	1.0
GLM-5V (glm-5v-turbo)	1.0	1.0	1.0	1.0
Kimi K3	1.0	1.0	1.0	1.0
Doubao-Seed-2.1-turbo	1.0	1.0	1.0	0.0
Doubao-Seed-Evolving	1.0	1.0	1.0	0.0
Doubao-Seed-2.0-lite	1.0	1.0	1.0	1.0
Doubao-Seed-2.0-mini	1.0	1.0	1.0	1.0
MiniMax-M3	1.0	1.0	1.0	0.0
Kimi-K2.7-code	1.0	1.0	1.0	0.0
Gemma4-31B	1.0	1.0	1.0	1.0
Qwen3.5-397B	1.0	1.0	1.0	1.0
Mistral-Large-3-675B	1.0	1.0	1.0	0.667

C11

视觉单测生成

assertion_suite 案例详情 · 实测记录 →

🏆 前三名：按轴一 注入缺陷召回_近似 排序，数值越高越好——12 个模型在此轴一并列，本案例无法区分前三名（并列值 0.0）。

模型	注入缺陷召回_近似轴一	合法变体假阳率_近似
GLM-X-Preview-F (stealth/ox-alpha)	0.0	0.0
GLM-5V (glm-5v-turbo)	0.0	0.0
Kimi K3	0.0	0.0
Doubao-Seed-2.1-turbo	0.0	0.0
Doubao-Seed-Evolving	0.0	0.0
Doubao-Seed-2.0-lite	0.0	0.0
Doubao-Seed-2.0-mini	0.0	0.0
MiniMax-M3	0.0	0.0
Kimi-K2.7-code	0.0	0.0
Gemma4-31B	0.0	0.0
Qwen3.5-397B	0.0	0.0
Mistral-Large-3-675B	0.0	0.0

C12

现实找茬 + 监控脚本

precision_recall 案例详情 · 实测记录 →

（本案例 12 个模型均为 no_auto_score，无自动分数，详见案例详情页）

C13

高召回过滤器

recall_at_budget 案例详情 · 实测记录 →

🏆 前三名：按轴一 recall@20% 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	recall@20%轴一	ECE
GLM-X-Preview-F (stealth/ox-alpha)	0.0	0.499
GLM-5V (glm-5v-turbo)	0.0	0.701
Kimi K3	🥇0.8	0.467
Doubao-Seed-2.1-turbo	0.0	0.2
Doubao-Seed-Evolving	0.2	0.264
Doubao-Seed-2.0-lite	🥈0.6	0.633
Doubao-Seed-2.0-mini	0.0	0.636
MiniMax-M3	0.0	0.2
Kimi-K2.7-code	0.0	0.2
Gemma4-31B	🥉0.4	0.648
Qwen3.5-397B	🥉0.4	0.646
Mistral-Large-3-675B	0.0	0.452

C14

五条腿的狗

self_conflict 案例详情 · 实测记录 →

🏆 前三名：按轴一 反事实准确 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	代码正确	反事实准确轴一	直觉正确
GLM-X-Preview-F (stealth/ox-alpha)	0.0	🥈0.333	0.5
GLM-5V (glm-5v-turbo)	0.0	🥇1.0	1.0
Kimi K3	0.0	🥇1.0	1.0
Doubao-Seed-2.1-turbo	0.0	🥉0.0	0.0
Doubao-Seed-Evolving	0.0	🥉0.0	0.0
Doubao-Seed-2.0-lite	0.167	🥇1.0	1.0
Doubao-Seed-2.0-mini	0.0	🥇1.0	1.0
MiniMax-M3	0.0	🥉0.0	0.0
Kimi-K2.7-code	0.0	🥉0.0	0.0
Gemma4-31B	0.0	🥇1.0	1.0
Qwen3.5-397B	0.0	🥇1.0	1.0
Mistral-Large-3-675B	0.0	🥉0.0	0.5

C15

三段式看钟

layered_clock 案例详情 · 实测记录 →

🏆 前三名：按轴一 角度误差 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。注：字段名为"角度误差"，但取值已经是 0-1 的"感知准确度"，越高越好

模型	角度误差轴一	读时准确
GLM-X-Preview-F (stealth/ox-alpha)	🥉0.667	0.5
GLM-5V (glm-5v-turbo)	🥇0.833	0.833
Kimi K3	🥇0.833	0.667
Doubao-Seed-2.1-turbo	0.0	0.0
Doubao-Seed-Evolving	0.0	0.0
Doubao-Seed-2.0-lite	🥈0.767	0.5
Doubao-Seed-2.0-mini	🥇0.833	0.667
MiniMax-M3	0.0	0.0
Kimi-K2.7-code	0.0	0.0
Gemma4-31B	0.607	0.5
Qwen3.5-397B	🥇0.833	1.0
Mistral-Large-3-675B	0.157	0.0

C16

安慰剂工具

placebo_delta 案例详情 · 实测记录 →

🏆 前三名：按轴一 真工具增益 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	异常察觉	真工具增益轴一
GLM-X-Preview-F (stealth/ox-alpha)	0.0	-0.333
GLM-5V (glm-5v-turbo)	0.0	🥉0.333
Kimi K3	0.0	0.0
Doubao-Seed-2.1-turbo	0.0	0.0
Doubao-Seed-Evolving	0.0	🥇1.0
Doubao-Seed-2.0-lite	0.0	0.0
Doubao-Seed-2.0-mini	0.0	0.0
MiniMax-M3	0.0	0.0
Kimi-K2.7-code	0.0	0.0
Gemma4-31B	0.0	0.0
Qwen3.5-397B	0.333	🥈0.667
Mistral-Large-3-675B	0.333	0.0

C17

视觉侦探

geo_evidence 案例详情 · 实测记录 →

🏆 前三名：按轴一 定位精度 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	定位精度轴一	距离km	证据条数
GLM-X-Preview-F (stealth/ox-alpha)	0.667	2.894	0.5
GLM-5V (glm-5v-turbo)	0.333	8.122	0.0
Kimi K3	🥇1.0	6.634	1.0
Doubao-Seed-2.1-turbo	0.0	—	0.0
Doubao-Seed-Evolving	0.0	—	0.0
Doubao-Seed-2.0-lite	0.0	—	1.0
Doubao-Seed-2.0-mini	0.59	42.038	0.667
MiniMax-M3	0.0	—	0.0
Kimi-K2.7-code	0.0	—	0.0
Gemma4-31B	🥈0.889	39.235	0.0
Qwen3.5-397B	🥉0.759	94.206	0.0
Mistral-Large-3-675B	0.0	—	0.0

C18

家里的仪表

numeric_plus_exec 案例详情 · 实测记录 →

🏆 前三名：按轴一 读数相对误差_均值 排序，数值越低越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	读数相对误差_均值轴一
GLM-X-Preview-F (stealth/ox-alpha)	0.339
GLM-5V (glm-5v-turbo)	0.673
Kimi K3	0.338
Doubao-Seed-2.1-turbo	1.0
Doubao-Seed-Evolving	0.667
Doubao-Seed-2.0-lite	🥇0.006
Doubao-Seed-2.0-mini	🥉0.027
MiniMax-M3	1.0
Kimi-K2.7-code	1.0
Gemma4-31B	0.345
Qwen3.5-397B	🥈0.016
Mistral-Large-3-675B	0.334

C19

按样例数符号

counting_iou 案例详情 · 实测记录 →

🏆 前三名：按轴一 计数精确 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	定位IoU	幻觉框	计数精确轴一
GLM-X-Preview-F (stealth/ox-alpha)	0.514	3	🥇1.0
GLM-5V (glm-5v-turbo)	0.0	5.5	🥈0.5
Kimi K3	1.0	0	🥇1.0
Doubao-Seed-2.1-turbo	0.0	0	🥉0.0
Doubao-Seed-Evolving	1.0	0	🥇1.0
Doubao-Seed-2.0-lite	0.414	3.5	🥇1.0
Doubao-Seed-2.0-mini	0.757	1.5	🥇1.0
MiniMax-M3	0.0	0	🥉0.0
Kimi-K2.7-code	0.0	0	🥉0.0
Gemma4-31B	0.0	6	🥈0.5
Qwen3.5-397B	0.0	6	🥇1.0
Mistral-Large-3-675B	0.0	0	🥉0.0

C20

两个模型对着一张棋盘下棋

game_state 案例详情 · 实测记录 →

🏆 前三名：按轴一 棋盘识别 排序，数值越高越好；表中该列以 🥇🥈🥉 标注第 1/2/3 名，同一名次并列的模型全部标出。

模型	棋盘识别轴一	走法合法性	崩溃恢复
GLM-X-Preview-F (stealth/ox-alpha)	🥈0.5	1.0	1
GLM-5V (glm-5v-turbo)	🥉0.0	0.5	0
Kimi K3	🥇1.0	1.0	0
Doubao-Seed-2.1-turbo	🥉0.0	0.0	0
Doubao-Seed-Evolving	🥈0.5	0.5	1
Doubao-Seed-2.0-lite	🥉0.0	0.0	0
Doubao-Seed-2.0-mini	🥉0.0	1.0	0
MiniMax-M3	🥉0.0	0.0	0
Kimi-K2.7-code	🥈0.5	0.0	1
Gemma4-31B	🥉0.0	0.0	0
Qwen3.5-397B	🥈0.5	0.5	1
Mistral-Large-3-675B	🥉0.0	0.0	0

5. 已知局限

样本规模是演示级的（n=1–25），不是研究级基准测试规模；不能据此给模型排严格总名次。
C04（cadquery 相关维度）：本机 Python 3.14 环境下 cadquery/OCP 无法正常 import，"尺寸精度""可执行成形"两个维度退化为静态代码检查，不是真实几何建模验证。
C05/C09/C11/C18（沙箱执行模型生成代码）：模型可以自由设计函数签名，沙箱用启发式多种调用方式去匹配，不是 100% 可靠的执行基准。
C16/C20：分别是本项目自建的简化协议（文本形式 TOOL_CALL 指令、2 步真实对弈），不是标准工具调用 API 或完整对局。
C17 使用的是 Geograph Britain and Ireland 的真实 CC BY-SA 2.0 授权照片（已裁除版权水印条），仅 3 张、且均为英国乡村/小镇场景，不代表全球地理场景的泛化能力。
C12 目前没有接入自动评分器，只有真实运行记录（Prompt、回复），需要人工或后续脚本评分。
三种 API 协议的适配层（OpenAI 兼容 / Anthropic Messages / Ollama 原生）是本项目自己写的转换代码，虽已验证可用，但不排除个别边缘情况（如极端长回复、特殊字符）处理不完全一致。

6. 交付物索引

内容	路径
案例设计总览 + 总表	`site/index.html`
20 个案例详情页（含设计文档 + 实测结果 Live Run）	`site/C01.html` … `site/C20.html`
12 模型可视化对比页	`site/compare.html`
12 模型对比原始数据	`results/compare.json`
每个模型 × 每个案例的完整运行记录（真实 Prompt / 原文回复 / 分数）	`results/<model>/C*.json`（`stealth/ox-alpha` 在 `results/` 根目录）
评测数据生成脚本	`harness/gen_data.py`
跑批 + 打分主程序	`harness/run_all.py`
三模型对比数据汇总脚本	`harness/build_compare.py`
案例设计原文（Prompt/Rubric）	`source/multimodal-demo-suite.md`、`source/cases.yaml`

site/ 下的路径可点击直达对应页面；results/、harness/、source/ 不在本静态站内，仅以等宽文本如实展示。

多模态（看图）×Coding评测报告

这是什么

2. 参测模型（12 个，3 种接入协议）

3. 全局发现（跨案例）

4. 逐案例结果（20 个案例 × 12 模型，原始分数）

5. 已知局限

6. 交付物索引

多模态（看图）×Coding
评测报告