数据管线概览
数据管线(Pipeline)由一组算子按依赖关系组成,用于把原始数据加工为结构化数据。每一次运行称为一个处理任务,有自己的管线任务 ID、进度、日志与产物。
什么时候需要管线
| 数据 | 是否需要 | 原因 |
|---|---|---|
| RAW(无本体Ego、无本体UMI) | 必须 | RAW 只有原始传感器数据,需要算子产出轨迹、深度、关键点等结构化数据后才能治理与训练 |
| HDF5(Station Lite、MOS) | 可选 | HDF5 已包含本体状态,可以直接治理;需要额外的视觉或深度信息时再走管线 |
算子类型
| 类型 | 输入 | 典型产物 |
|---|---|---|
| SLAM | 双目视频、IMU、标定参数 | 相机轨迹与位姿序列 |
| 视觉 | 视频帧 | 目标检测框、分割掩码、手部关键点 |
| 深度 | 双目或单目视频 | 逐帧深度图 |
| 触觉 | 触觉传感器信号 | 对齐后的触觉序列与特征 |
| 多算子组合 | 以上任意组合 | 多类产物 |
算子由研发工程师上传到项目的算子库,可以使用平台提供的算子,也可以按算子开发规范编写自己的算子。
管线链路
每条管线展示为三段:
text
前置依赖 ──▶ 算子执行 ──▶ 后置处理
(解码、时间对齐、 (按依赖顺序执行 (格式化、写回资产池、
标定加载) 所选算子) 生成预览)处理任务与产物
- 处理任务从治理项目中发起,处理项目内选定的数据;
- 处理是异步的,提交后可以离开页面;
- 本批全部必需算子成功才算完成,否则整批标为异常,可重试失败步骤;
- 产物写回资产池,来源标记为管线任务 ID;原始数据保留;
- 产物可以继续在工作台中标注、核验,并导出为数据集版本。

