端到端智驾数据闭环评测规范

一、这份规范解决什么

智驾团队最常出现的争论不是”要不要上模型”，而是”这一版到底有没有变好”。

同一个版本，感知组说指标涨了，标注组说规则改了导致口径不一致，仿真组说通过率下降是因为回归集混进了新场景。争论的根源是评测没有规范：没有明确的评测对象、没有冻结的评测集版本、没有统一的阈值、没有可还原的报告。

本规范的目的，是把”变好了”定义成一件可以验收的事：同一份评测集、同一套口径、同一组阈值，跑出来的结果可比对、可复现、可归因。

---

二、评测对象：六环节 × 三类产物

数据闭环的六个环节，每个环节都要回答”输入是什么、输出是什么、怎么算合格”。

环节	评测对象	主要产物
采集	数据完整性与合规性	元数据清单、脱敏记录
挖掘	场景召回与目标占比	场景清单、挖掘命中率
标注	一致性与属性完整性	标注结果、抽检报告
训练	实验可复现性	模型版本、实验配置
仿真	回归集与关键场景通过率	仿真报告、拦截记录
回流	失效案例入库率	回流清单、触发条件

贯穿六个环节的是三类版本锚点：数据版本、规则版本（标注规则 / 评测口径）、模型版本。任何一次评测结论，必须能同时给出这三个版本号，否则结论无效。

---

三、评测集的定义与版本

评测集不是”攒一堆数据”，而是一份有契约的资产。

1. 分层

• 关键场景集：安全责任相关、不可退化的场景，一票否决，必须 100% 通过
• 回归集：历史失效与已修复场景，用于拦截退化
• 长尾集：低频高价值场景，用于衡量挖掘与泛化能力
• 常规集：随机抽样的日常分布，用于衡量整体水位

2. 冻结与变更

• 评测集按 major.minor 版本管理：新增场景为 minor，修改判据为 major
• 每次训练评测必须声明所用评测集版本，跨版本的指标不可直接比对
• 评测集变更需走评审：谁提议、为什么、影响哪些历史结论

3. 判据

• 每条场景必须有机器可判定的通过条件，避免”看起来对”这类主观判据
• 判据与标注规则同源：标注规则改了，判据同步评审，不留两套口径

---

四、评测维度与指标

维度	指标	口径
有效性	关键场景通过率	关键场景集通过比例，要求 100%
有效性	回归集通过率	与上一版本比对，不允许下降
稳定性	重跑差异率	同一模型同一评测集重跑，指标差异在阈值内
稳定性	标注一致率	抽检样本跨标注员一致率，按场景类型分计
有效性	长尾召回率	挖掘环节对已知长尾场景的命中比例
效率	人工干预率	需人工仲裁或重标的样本占比
可追溯	链路还原时长	任意模型版本还原数据、标注、规则、评测全链路的耗时
合规	脱敏完备率	敏感信息检出与处理的覆盖比例

指标不在多，在于每个指标都有唯一的口径、唯一的数据来源、唯一的责任人。口径有歧义的指标，宁可不记。

---

五、门禁与阈值

评测不是出报告就结束，报告必须接到门禁上。

门禁位置

1. 数据入库门禁：质量规则与合规校验不通过，数据不进入可训练池
2. 标注放行门禁：一致性抽检达标，批次才可用于训练
3. 训练上线门禁：关键场景全通过 + 回归集不退化，模型才允许进入仿真
4. 发布门禁：仿真报告完整、人工签字到位，版本才允许上车或交付

阈值设定原则

• 关键场景：不设”通过率 99%“，只设 100%，其余靠人工兜底与豁免记录
• 非关键指标：先观测两周分布，再取分位值定阈值，避免拍脑袋
• 阈值变更即版本变更：改阈值必须留下记录，否则历史结论失效
• 豁免必须留痕：谁批准、理由、影响范围、失效时间

---

六、评测报告与追溯

一份合格的评测报告至少包含：

• 三版本号：数据版本、规则版本、模型版本
• 评测集版本与各分层通过率
• 与基线的差异：涨了什么、退化了什么、可能无法归因的部分
• 拦截记录：哪道门禁拦了、拦了哪些场景
• 人工审核记录：谁审的、依据哪一版规则、改了什么
• 复现方式：给定三版本号，能在限定时间内重跑出同样的结论

报告应当是流水线自动产出的产物，不是人工整理的 PPT。人工只负责判断与签字，不负责拼数据。

---

七、落地步骤

1. 盘点：列出当前在用的评测集、口径与阈值，标出歧义项
2. 立契约：为六个环节定义输入、输出与合格口径，确定三类版本锚点
3. 建评测集：按四层结构建立最小可用评测集，先覆盖关键场景与回归
4. 接门禁：从数据入库与标注放行两道门禁起步，先拦最便宜的错误
5. 自动化报告：让报告由流水线产出，人工只做判断与签字
6. 跑闭环：用拦截记录与人工修改反哺挖掘与规则，逐轮降低人工干预率

判断规范是否真正落地，只有一个标准：两个团队用同一份规范评同一版模型，能不能得到同样的结论。