智驾数据闭环湖仓落地方案

方案定位

智能驾驶竞争焦点已从「跑里程」转向「转闭环」。车队每天产生 TB～PB 级数据，但真正进入训练的往往不到几个百分点——大量「数据暗物质」被浪费，同时端到端模型对数据规模与质量的依赖越来越强。

本方案回答一件事：如何把业务八环节落成可工程化运转的湖仓 + 挖掘双架构——湖仓是骨架（可存、可查、可治），挖掘是大脑（可发现、可检索、可回补）；二者长在同一单一事实源上，靠全局 data_id 与度量尺子转起来。

它与「工程化收敛」行业方案互补：收敛方案管确定性交付与四道防线；本方案管数据底座与闭环转速。评测口径见《端到端智驾数据闭环评测规范》。

一句话：湖仓把数据沉住，挖掘把成本降住，度量把瓶颈找住。

---

一、业务闭环：四段八环节

定义：采集 → 处理交付 → 训练 → 仿真评测 → OTA 部署 → 回传 → 问题分析 → 挖掘，首尾相接；每转一圈，模型进化一次。

段	环节	要点
① 数据供给	采集 → 交付	主动路采 + 量产回传双驱动；后者随车队放量，是主燃料
② 模型进化	训练 → 评测 → OTA	硬约束：仿真评测必须先于 OTA
③ 车队反馈	回传 → 分析	硬约束：问题分析必须后于回传
④ 数据再生	挖掘	双出口：库内命中 → 零成本回补训练集；未命中 → 定向采集

关键不在「画出八步」，而在交接契约：数据版本、标注/规则版本、评测集版本、门禁阈值——这些才是闭环可交付的抓手。

---

二、系统主栈：四层 + 服务层贯穿

数据流自上而下沉淀，服务流自下而上供给；应用层不直接碰存储引擎。

层	职责
应用层	数据管理、标注、训练、评测、仿真、问题分析、挖掘、车云、监控大屏（既消费又产生）
服务层	元数据、数据访问 API、血缘、权限审计、质量监控
接入层	三通道入湖（CDC / Kafka / OSS）+ 统一质量门禁（通道可分，门禁不可分）
湖仓底座	ODS → DWD → DWS → ADS；大文件外置 OSS，湖仓只存路径与元信息

建模骨架：11 数据域映射闭环环节，79+ 张表覆盖全链路；查询层双路——ADS 物化毫秒直查，ODS/DWD/DWS 经外表即席查。

---

三、双架构咬合：湖仓 × 挖掘

四个咬合点缺一不可：

1. 单一事实源 — 挖掘平台不持主数据副本；加速层只加速
2. ID 贯穿 — 挖掘明细带 data_id / clip_id / image_id
3. 结果回写 — 命中场景写回标签与湖仓，可触发补抽帧
4. 覆盖度反哺 — 标签覆盖度日指标驱动采集 / 触发策略

挖掘侧采用控制面 / 数据面分离：控制面管任务、规则、审核态；数据面即湖仓上的帧、标签、向量与结果。

---

四、挖掘变速箱：五站 × 双出口

站	作用
① 分层抽帧	均匀 + 事件窗 + 质量分，从 TB 级中抽高价值帧
② 统一标签	采集 / 规则 / VLM 三来源，四态词表去重治理
③ 双引擎挖掘	规则粗筛 + VLM 细筛
④ 向量化	Embedding 批量生产；不变不重算
⑤ 多模态检索	标量过滤 + ANN（文搜图 / 图搜图）

出口策略：优先命中、兼顾采集。质量红线——未审核不进训练集（标签 candidate → active 须过审）。

---

五、治理与贯穿件

三级 ID

ID	锚定	原则
data_id	采集单元 clip	终身锚点，重刷不变
artifact_id	处理产物	输入 + 算法版本；新旧并存
run_id	产线一次执行	参数快照，可重放

治理五步环：血缘可追溯 → 合规可信（双脱敏 + 入湖校验）→ 成本可控（存储生命周期分层）→ 资产可运营 → 度量可优化。

度量尺子：把闭环耗时拆为五段（采集→交付、交付→训练、训练、训练→评测、评测→部署）。粒度决定瓶颈定位精度——可度量才可优化。

---

六、交付物与里程碑

交付物

• 闭环拓扑与契约：八环节输入输出、硬约束、版本锚点
• 湖仓蓝图：数据域、分层表、入湖门禁、查询双路
• 挖掘流水线：五站配置、双出口策略、审核门禁
• 三级 ID 与血缘规范；闭环效率看板
• 与评测规范对齐的门禁与报告模板

里程碑

1. 盘点期：现状链路摸底，定 ID 与门禁口径
2. 底座期：三通道入湖 + ODS/DWD 跑通，服务层可查
3. 变速箱期：五站试点一条场景链路，双出口可闭环
4. 度量期：五段耗时看板上线，按瓶颈迭代转速
5. 放量期：覆盖度反哺采集策略，资产目录与成本分层常态化

---

七、前置条件与边界

需要企业侧提供：可回传的车队或路测数据、脱敏与合规云通路、标注/评测/仿真等业务系统的对接窗口，以及领域专家参与标签与审核规则。

本方案不替代算法对模型结构的探索，也不替代《工程化收敛》里的四道防线配置；解决的是让每一圈闭环的数据资产可沉淀、转速可度量、回补成本可控。