MULTIMODAL × CODING · EVAL SUITE
多模态（看图）×Coding
评测案例集
一套评测「看图 + 写代码」能力的题目集：20 个案例，每个案例同时打两个轴的分数——轴一测能力，轴二测节制（不编造、不虚报、该拒识就拒识）。
两轴设计每个案例都设计成两轴，用于画 Pareto 前沿。第一轴通常是"能力"，第二轴通常是"节制"（不编造、不虚报、该拒识时拒识）。只报第一轴的横评是没有信息量的。
评分口径每个案例的总分归一化到 0-100。凡是标了 deterministic 的维度都由脚本算，不进 judge；judge 只负责无法程序化的维度，且必须先看 deterministic 结果再打分。
20 个案例均已跑通 12 个模型的真实调用（OpenRouter / 火山方舟 Agent Plan / Ollama Cloud），逐案例原始回复、真实图片与脚本打分见各案例详情页；评测报告汇总全部数据与已知局限。
00
怎么跑
export OPENROUTER_API_KEY=sk-or-... # 1. 按 data/<CASE_ID>/manifest.jsonl 的格式准备图片与真值 # 2. 跑批（--only 选案例） python run_batch.py --models anthropic/claude-opus-4.5 openai/gpt-5.2 \ google/gemini-3-pro moonshotai/kimi-k2.5 --only C07 C14 C15 C16 # 3. 评分（judge 只处理 rubric 里非确定性的维度） python score.py --judge anthropic/claude-opus-4.5 --out report.csv
01
总表
脚本deterministic · 脚本自动算，不进 judgejudge主观维度 · 先看脚本结果再打分
| ID | 案例 | 输入 | 考什么 | 双轴 Ⅰ / Ⅱ | 评分器 | 自动化 | 趣味 | 跑批 | |
|---|---|---|---|---|---|---|---|---|---|
| C01 | 为这一类图写解析器 | 同一类实物的 5 张照片（票据 / 手写账本 / 水电表），格式各异、有折痕反光倾斜；另留 15 张 holdout | 从少量样本归纳规则并写成程序，而不是读出这一张的答案 | Ⅰholdout 字段 F1Ⅱ拒识正确率 | exec_holdout | 5/5 | 2/5 | --only C01 | → |
| C02 | 视觉回归闭环 | 一张现实中截来的图表（新闻 / 他人 PPT），非合成 | 看差异图后能否收敛——这是评分机制，不是区分度题目 | Ⅰ三轮后相似度Ⅱ单调改进率 | render_diff | 5/5 | 2/5 | --only C02 | → |
| C03 | 静默 Bug 猎场 | 20 张真实有渲染问题的界面截图 + 12 张干净截图，混合投放，不告知数量 | 召回与虚报的取舍。多数模型会为了显得有用而编出缺陷 | Ⅰ缺陷召回Ⅱ干净图误报率 | precision_recall | 4/5 | 3/5 | --only C03 | → |
| C04 | 从照片到可打印零件 | 家里坏掉的小零件实拍，画面中放一枚一元硬币（直径 25.0mm）作参照 | 会不会主动用参照物做尺度推断——不会找尺子的模型，尺寸全靠编 | Ⅰ尺寸相对误差Ⅱ参数化程度 | cad_exec | 4/5 | 4/5 | --only C04 | → |
| C05 | 空间约束求解 | 冰箱内部 / 行李箱 / 书架实拍一张 | 视觉到结构化约束这一步的损耗 | Ⅰ约束提取准确率Ⅱ幻觉物品数 | exec_plus_judge | 3/5 | 3/5 | --only C05 | → |
| C06 | 图表说谎鉴定 | 30 张真实营销图/新闻图（含误导手法）+ 20 张干净图，混投 | 未被提示时的过度指认——这是本案例的核心，不是识别能力 | Ⅰ误导识别召回Ⅱ干净图误报率 | precision_recall | 4/5 | 5/5 | --only C06 | → |
| C07 | 反事实照片对 | 同一场景两张照片，只替换参照物（标准可乐罐 122mm → 迷你罐 88mm） | 答案是否随证据变化。不变 = 在背先验 | Ⅰ应变量 ΔⅡ绝对精度 | pairwise_delta | 5/5 | 5/5 | --only C07 | → |
| C08 | 双问差值（证据用量） | 单张实拍，画面中含一张 A4 纸（297×210mm） | 把"先验 vs 证据"变成一个可量化的数字 | Ⅰ证据增益Ⅱ脚本几何正确性 | evidence_delta | 5/5 | 4/5 | --only C08 | → |
| C09 | 接线与说明书 | 插线板背面 / 路由器接口 / 宜家装配图某一页 / 配电箱 | 符号到语义，被点名的弱域 | Ⅰ连接表 F1Ⅱunknown 使用恰当性 | exec_plus_judge | 4/5 | 3/5 | --only C09 | → |
| C10 | 脏图退化测试 | 同一份内容两版：扫描件（clean）与手机随手拍（反光、透视、折痕、低光） | 退化幅度与拒识能力，而不是准确率本身 | Ⅰ退化幅度Ⅱ脏图编造率 | degradation | 5/5 | 3/5 | --only C10 | → |
| C11 | 视觉单测生成 | 一张"正确状态"的基线截图或产品实拍 | 把看图变成写检测器。完全自动可评分 | Ⅰ注入缺陷召回Ⅱ合法变体假阳率 | assertion_suite | 5/5 | 4/5 | --only C11 | → |
| C12 | 现实找茬 + 监控脚本 | 同一场景的两张实拍（货架 / 工位 / 仪表盘），拍摄条件略有不同 | 近乎相同的图像对上，语义捷径失效 | Ⅰ实质差异召回Ⅱ编造差异数 | precision_recall | 4/5 | 4/5 | --only C12 | → |
| C13 | 高召回过滤器 | 200 帧混合样本（含 30 个真实缺陷） | 让模型扮演筛选器而非判定者，这本身是个价值观演示 | Ⅰrecall@预算Ⅱ置信度校准 ECE | recall_at_budget | 5/5 | 3/5 | --only C13 | → |
| C14 | 五条腿的狗 | 40 张原图（常见事物）+ 40 张反事实图（五条腿的狗、四道杠的类阿迪 logo、六根弦变七根的吉他） | 眼睛与它自己写的代码打架，且必须当场选边 | Ⅰ反事实准确率Ⅱ冲突自纠率 | self_conflict | 5/5 | 5/5 | --only C14 | → |
| C15 | 三段式看钟 | 60 张钟面（含指针重叠、罗马数字、无刻度、镜像、非整点） | 精确定位错误发生在感知层还是计算层 | Ⅰ角度感知误差Ⅱ层间一致性 | layered_clock | 5/5 | 5/5 | --only C15 | → |
| C16 | 安慰剂工具 | 30 张高分辨率脏图 + 需要局部细节才能回答的问题 | 它到底在看，还是在装作在看 | Ⅰ真工具增益 ΔⅡ异常察觉率 | placebo_delta | 4/5 | 5/5 | --only C16 | → |
| C17 | 视觉侦探 | 20 张地点未知的实拍（含街景、乡野、室内窗景） | 证据必须可核查，且能自己写脚本验证 | Ⅰ定位误差 kmⅡ证据可核查率 | geo_evidence | 4/5 | 5/5 | --only C17 | → |
| C18 | 家里的仪表 | 水表、电表、体重秤、血压计、量杯、卡尺、压力表实拍，含指针位于两刻度之间的样本 | 刻度系统的建模，而非 OCR | Ⅰ读数相对误差Ⅱ刻度系统描述正确率 | numeric_plus_exec | 5/5 | 3/5 | --only C18 | → |
| C19 | 按样例数符号 | 图纸一张（电路图 / 管路图 / 地铁线路图 / 装配零件页）+ 一个符号的视觉样例 | 密集场景 + 相似干扰项，计数与标签必须同时正确 | Ⅰ计数精确匹配率Ⅱ幻觉符号数 | counting_iou | 5/5 | 3/5 | --only C19 | → |
| C20 | 两个模型对着一张棋盘下棋 | 实拍棋局照片（国际象棋 / 五子棋 / 象棋），含反光、斜角、部分遮挡 | 看错棋盘导致的连锁崩溃，比任何分数都直观 | Ⅰ棋盘识别准确率Ⅱ崩溃恢复率 | game_state | 4/5 | 5/5 | --only C20 | → |
自动化 = 不需要人工介入就能打完分的程度；趣味 = 现场演示的反差强度。点击任意行进入案例详情。
02
模型横评：谁更优
以下是 12 个模型（经 OpenRouter / 火山方舟 Agent Plan / Ollama Cloud 三种协议真实调用）在 19 个已出分案例上的横评汇总：按每个案例主轴指标取最高分（含并列）归入"最优梯队"，统计每个模型拿到最优梯队的次数。C01 / C03 / C06 / C09 / C10 / C11 六个案例因 12 个模型分数完全相同（多为全 0，说明这类"看图 + 写可执行代码"任务对所有模型都难）不计入排名。完整原始数据见 12 模型深度对比 与 评测报告。
01Kimi K34 项独占最优 · 9/17 项位于最优梯队
02Doubao-2.0-lite1 项独占最优 · 6/17 项位于最优梯队
03Qwen3.5-397B6/19 项位于最优梯队
04Doubao-2.0-mini5/16 项位于最优梯队
05GLM-5V5/16 项位于最优梯队
06Gemma4-31B1 项独占最优 · 4/16 项位于最优梯队
07Mistral-L3-675B3/14 项位于最优梯队
08Doubao-Evolving1 项独占最优 · 2/15 项位于最优梯队
09ox-alpha2/15 项位于最优梯队
10MiniMax-M31/14 项位于最优梯队
11Doubao-2.1-turbo0/14 项位于最优梯队
12Kimi-K2.7-code0/14 项位于最优梯队
独占最优 = 该案例上唯一拿到最高分的模型，信号最强；最优梯队 = 含分数并列的最高分组，模型越多信号越弱。综合来看 Kimi K3 相对最稳：4 项独占最优（C02/C13/C17/C20），且没有一个案例掉到 12 个模型的最底层。没有任何模型在全部案例上全面领先——多数案例是多模型并列在拼"谁先不犯错"，而不是断层式的强弱之分。
C02视觉回归闭环
三轮后相似度🥇 Kimi K3 0.802
C04从照片到可打印零件
参数化程度_近似GLM-5V、Doubao-2.0-lite、Doubao-2.0-mini、MiniMax-M3、Gemma4-31B、Qwen3.5-397B、Mistral-L3-675B 1.0
7 模型并列（共 12 模型参与）
C05空间约束求解
约束JSON可解析ox-alpha、GLM-5V、Kimi K3、Doubao-2.0-lite、Doubao-2.0-mini、Gemma4-31B、Qwen3.5-397B、Mistral-L3-675B 1.0
8 模型并列（共 12 模型参与）
C07反事实照片对
应变量GLM-5V、Kimi K3、Doubao-2.0-lite、Qwen3.5-397B、Mistral-L3-675B 1.0
5 模型并列（共 12 模型参与）
C08双问差值（证据用量）
证据增益🥇 Gemma4-31B 0.067
C13高召回过滤器
recall@20%🥇 Kimi K3 0.8
仅 4 模型参与该轴
C14五条腿的狗
反事实准确GLM-5V、Kimi K3、Doubao-2.0-lite、Doubao-2.0-mini、Gemma4-31B、Qwen3.5-397B 1.0
6 模型并列（共 12 模型参与）
C15三段式看钟
角度误差GLM-5V、Kimi K3、Doubao-2.0-mini、Qwen3.5-397B 0.833
4 模型并列，仅 6 模型参与该轴
C16安慰剂工具
真工具增益🥇 Doubao-Evolving 1.0
仅 3 模型参与该轴
C17视觉侦探
定位精度🥇 Kimi K3 1.0
仅 3 模型参与该轴
C18家里的仪表
读数相对误差_均值 ↓🥇 Doubao-2.0-lite 0.006
仅 3 模型参与该轴 · 数值越低越好
C19按样例数符号
计数精确ox-alpha、Kimi K3、Doubao-Evolving、Doubao-2.0-lite、Doubao-2.0-mini、Qwen3.5-397B 1.0
6 模型并列（共 12 模型参与）
C20两个模型对着一张棋盘下棋
棋盘识别🥇 Kimi K3 1.0
03