教程 A:从原始数据到标注数据
本教程以 无本体UMI 采集的无本体数据为例,带你把原始数据(RAW)加工为带结构化标注的数据,并下载使用。
适用场景
- 你使用无本体Ego、无本体UMI 等设备采集了人类示范,需要得到相机轨迹、深度、手部关键点等结构化数据;
- 你需要一批经过质量检查、标有异常区间的数据,用于自己的算法研究或交付给合作方;
- 你使用真机采集的 HDF5 数据,同样可以按本教程完成质量标注与导出,只是管线一步可以省略。
开始之前
| 准备项 | 要求 | 参考 |
|---|---|---|
| 角色 | FAE 或研发工程师(配置算子参数需要研发工程师) | 角色与权限 |
| 设备 | 无本体UMI 已在设备台账中登记并回填 SN | 设备管理 |
| 采集任务 | 已创建采集任务,绑定该设备 | 采集任务 |
| 算子 | 项目算子库中已有所需类型的算子(SLAM、视觉、深度等) | 算子开发 |
流程概览
text
① 上传原始数据 → ② 确认数据入池 → ③ 建治理项目 → ④ 选择管线并提交处理任务
→ ⑤ 查看处理进度 → ⑥ 检查处理结果 → ⑦ 质量标注与核验 → ⑧ 导出 → ⑨ 下载标注数据第 1 步:上传原始数据
入口:采集员登录后进入「数据采集 → 采集任务」。
- 在任务卡片上点击 领取任务,再点击 开始采集。
- 使用 无本体UMI 完成示范。每条数据采集结束后,按任务的上传方式自动上传:
- 全量上传:每条结束后整包上传;
- 切片上传:长时录制按 5 分钟切片,边采边传。
- 上传弹窗显示上传进度。网络中断时数据缓存在采集端,恢复后自动续传。
操作后会发生什么:平台对每条数据做完整性校验(通道、时间戳、包数一致),通过后生成数据 ID,以 RAW 格式进入资产池。
第 2 步:确认数据已入池
入口:「数据治理 → 数据资产」。
- 在 所属采集任务 筛选中选择本任务。
- 列表中每行是一条数据,格式列显示
RAW,治理状态为 待管线。
| 你看到的 | 说明 |
|---|---|
| 条目数与采集条数一致 | 全部入池 |
| 有条目为「校验失败」 | 该条上传不完整,在采集端补传 |
| 列表为空 | 数据仍在上传,或筛选的任务不对 |
「待管线」的数据为什么勾不上
RAW 数据不含本体状态,必须先经过管线才能治理。资产列表中「待管线」条目不可勾选,但可以通过治理项目的管线入口处理,见下一步。
第 3 步:创建治理项目
入口:「数据治理 → 数据任务管理」,点击 新建治理项目。
- 填写项目名,例如
pick_place_umi_labeling。 - 在 来源数据 中选择本采集任务。
- 在候选列表中勾选需要处理的数据,弹窗底部显示「匹配数 / 最终选择数」。
- 点击 创建,项目在数据工作台中打开。
第 4 步:选择管线并提交处理任务
入口:数据工作台页面头部的 管线处理 按钮。
- 在弹窗上部 算子管理 中,勾选本次需要的导出算子类型,例如:
- SLAM:输出相机轨迹与位姿序列;
- 深度:输出由双目估计的深度图;
- 视觉:输出手部关键点等视觉结构化结果。
- 在中部 管线链路 中检查三段链路:前置依赖 → 算子执行 → 后置处理。确认算子顺序和参数(参数由研发工程师配置,其他角色只读)。
- 点击右下角 开始处理。
操作后会发生什么:平台为本批数据创建一个处理任务,分配管线任务 ID,进入「处理中」。
第 5 步:查看处理进度
处理任务异步执行,可以离开页面。
- 工作台顶部出现状态条,显示进度百分比与日志条数;
- 点击状态条可回到弹窗,查看每个算子在每条数据上的执行日志;
- 处理时长取决于数据量与算子数量,以页面显示为准。
| 状态 | 含义 | 你需要做什么 |
|---|---|---|
| 处理中 | 正在执行 | 等待,或离开页面稍后回来 |
| 已完成 | 全部必需算子成功 | 进入第 6 步 |
| 异常 | 有必需算子失败,整批标为异常 | 查看失败步骤与日志,点击 重试;重试只针对失败步骤 |
第 6 步:检查处理结果
处理完成后,结构化产物自动写入资产池,来源标记为本次管线任务 ID;原始 RAW 数据保留。
- 回到数据工作台,项目中的数据显示处理产物。
- 选中一条数据,在预览区查看:
- 双目视频与轨迹叠加是否对齐;
- 深度图是否连续、无大面积空洞;
- 关键点是否跟随手部运动。
- 发现问题的数据,在下一步标注;整体效果不理想时,请研发工程师调整算子参数后重新提交处理。
管线成功不等于数据合格
处理成功只代表产物已生成。产物质量仍需在工作台中检查、标注和核验。
第 7 步:质量标注与核验
在数据工作台中逐条处理:
- 标记异常:在时间轴上选择区间,点击 添加标签,备注填写现象,例如「轨迹漂移」「手部遮挡」。标签显示为「异常_轨迹漂移」。
- 划定区间:把不可用的时间段设为 排除区间;整条不可用的数据设为 整条待删除。
- 核验:看完一条后点击 标记已核验。
所有操作自动保存,只记录指令,不修改原始数据。详见数据工作台。
第 8 步:导出标注数据
- 在工作台头部点击 导出。
- 填写数据集名称,选择格式 HDF5 或 LeRobot。
- 点击 开始导出。平台按标注指令生成数据:跳过整条待删除的数据,裁掉排除区间,并写入导出清单。
导出完成后得到一个冻结的数据集版本。导出结果显示为「正常数(异常数)」,例如 48(2),点击 生成详情 可查看每个异常样本的原因。
第 9 步:下载标注数据
入口:「数据治理 → 数据集管理」。
- 直接下载:在数据集列表中点击 下载,按分卷压缩包下载数据集文件与导出清单;
- 交付给他人:创建交付单,经审核后打包发布,接收方通过交付链接下载。详见标注数据与交付。
最终得到什么
| 产物 | 内容 |
|---|---|
| 数据集版本 | 按 HDF5 或 LeRobot 组织的样本文件,包含原始传感器数据与管线产物 |
| 导出清单 | 每条样本的数据 ID、来源、核验状态、异常标签与区间 |
| 处理记录 | 管线任务 ID、算子版本与执行日志,可在平台中追溯 |
文件结构见数据格式。
如何判断完成
- [x] 处理任务状态为 已完成;
- [x] 项目内数据均为 已核验;
- [x] 数据集状态为 已导出,导出结果中的异常数已确认原因;
- [x] 已下载数据集或交付单状态为已发布。
常见问题
| 问题 | 处理 |
|---|---|
| 管线按钮打开后参数是只读的 | 算子参数仅研发工程师可改,FAE 可以启动处理 |
| 处理异常 | 查看失败步骤、输入数据与日志,重试失败步骤;原运行记录保留 |
| 处理完成但没有导出按钮 | 刷新工作台;处理中的项目不能导出 |
| 导出被拦截 | 按页面提示处理未核验、通道不完整等问题,见导出拦截 |
| 导出数量与预期不符 | 核对整条待删除与排除区间,查看生成详情中的失败数据 ID |
更多问题见故障排查。

