数据集与版本
数据集是治理的产物,也是训练的唯一入口。版本是两个环节之间的契约:每次导出生成一个版本号,版本冻结后不可回改。
入口:数据工作台头部的 导出;导出后的版本在左侧导航「数据治理 → 数据集管理」中查看。
导出格式
| 格式 | 说明 | 适用 |
|---|---|---|
| HDF5 | 每条样本一个 .hdf5 文件,按时间戳对齐图像、本体状态与动作 | 平台内置训练模板、自研训练框架 |
| LeRobot | 按 LeRobot 数据集规范组织,包含 Parquet 数据表与 MP4 视频 | 主流开源训练框架 |
文件结构见数据格式。
导出数据集
- 在数据工作台确认项目已治理完成:标签已确认、区间已划定、数据已核验。
- 点击 导出,填写数据集名称与备注,选择格式 HDF5 或 LeRobot。
- 点击 开始导出。平台按项目中的指令生成目标数据:
- 跳过标记为「整条待删除」的数据;
- 按排除 / 保留区间裁剪时间段;
- 写入导出清单。
- 导出完成后,数据集状态变为「已导出」,版本冻结。
导出清单始终保留标签
导出清单始终记录每条样本的标签、备注与区间信息,不提供「是否保留质量标签」开关。
导出拦截
以下情况不允许导出,页面会给出具体原因:
| 拦截原因 | 处理方式 |
|---|---|
| 待续接 | 存在跨包未续接完成的样本,等待续接或人工处理 |
| 待确认 | 存在未确认的候选标签或回流样本 |
| 质检未通过 | 存在未核验或未通过质检的数据 |
| 通道不完整 | 存在缺通道的数据,移出项目或补传后再导出 |
| 管线处理中 | 等待管线完成 |
导出结果
导出结果显示为「正常数(异常数)」,例如 99(1)。两者相加等于本次纳入导出的条数。点击 生成详情 查看日志,日志列出每个失败样本的数据 ID 与原因。
版本规则
| 规则 | 说明 |
|---|---|
| 导出即冻结 | 版本冻结后不可回改,后续对项目的修改只能生成新版本 |
| 版本号 | 按项目内递增,唯一,不复用 |
| 父版本 | 合并或补采生成的新版本记录父版本引用 |
| 样本来源 | 记录样本来源(采集 / 回流 / 管线)、覆盖时段与新增样本数 |
| 训练绑定 | 只有「已导出」的版本可以用于训练;导出中的版本不能建训练任务 |
补采数据
补采的数据有两种处理方式:
- 独立导出:将补采数据建为新的治理项目,导出为新数据集,单独训练。
- 合并为新版本:与同格式的已治理数据集合并,生成新版本。合并时按样本 ID 去重,并保留父版本引用。
合并的格式要求
合并要求同格式、模态兼容。HDF5 与 LeRobot 之间的跨格式转换需要单独验证,不能静默混用。
数据集状态
| 状态 | 含义 |
|---|---|
| 待导出 | 已提交,排队等待 |
| 导出中 | 正在生成文件 |
| 已导出 | 全部完成,版本冻结,可用于训练 |
| 导出失败 | 整体失败,查看日志后重新导出 |
数据集预览
在数据集管理中点击 预览,可以查看样本列表、单条样本的视频与本体曲线,以及导出清单中的标签与区间。
边采边训
可以分批供给数据:每采完一批,治理并导出一个新版本,用新版本建训练任务。每个训练任务都绑定一个固定版本。

