Skip to content

数据集与版本 ​

数据集是治理的产物,也是训练的唯一入口。版本是两个环节之间的契约:每次导出生成一个版本号,版本冻结后不可回改。

入口:数据工作台头部的 导出;导出后的版本在左侧导航「数据治理 → 数据集管理」中查看。

导出格式 ​

格式说明适用
HDF5每条样本一个 .hdf5 文件,按时间戳对齐图像、本体状态与动作平台内置训练模板、自研训练框架
LeRobot按 LeRobot 数据集规范组织,包含 Parquet 数据表与 MP4 视频主流开源训练框架

文件结构见数据格式。

导出数据集 ​

  1. 在数据工作台确认项目已治理完成:标签已确认、区间已划定、数据已核验。
  2. 点击 导出,填写数据集名称与备注,选择格式 HDF5 或 LeRobot。
  3. 点击 开始导出。平台按项目中的指令生成目标数据:
    • 跳过标记为「整条待删除」的数据;
    • 按排除 / 保留区间裁剪时间段;
    • 写入导出清单。
  4. 导出完成后,数据集状态变为「已导出」,版本冻结。

导出清单始终保留标签

导出清单始终记录每条样本的标签、备注与区间信息,不提供「是否保留质量标签」开关。

导出拦截 ​

以下情况不允许导出,页面会给出具体原因:

拦截原因处理方式
待续接存在跨包未续接完成的样本,等待续接或人工处理
待确认存在未确认的候选标签或回流样本
质检未通过存在未核验或未通过质检的数据
通道不完整存在缺通道的数据,移出项目或补传后再导出
管线处理中等待管线完成

导出结果 ​

导出结果显示为「正常数(异常数)」,例如 99(1)。两者相加等于本次纳入导出的条数。点击 生成详情 查看日志,日志列出每个失败样本的数据 ID 与原因。

版本规则 ​

规则说明
导出即冻结版本冻结后不可回改,后续对项目的修改只能生成新版本
版本号按项目内递增,唯一,不复用
父版本合并或补采生成的新版本记录父版本引用
样本来源记录样本来源(采集 / 回流 / 管线)、覆盖时段与新增样本数
训练绑定只有「已导出」的版本可以用于训练;导出中的版本不能建训练任务

补采数据 ​

补采的数据有两种处理方式:

  1. 独立导出:将补采数据建为新的治理项目,导出为新数据集,单独训练。
  2. 合并为新版本:与同格式的已治理数据集合并,生成新版本。合并时按样本 ID 去重,并保留父版本引用。

合并的格式要求

合并要求同格式、模态兼容。HDF5 与 LeRobot 之间的跨格式转换需要单独验证,不能静默混用。

数据集状态 ​

状态含义
待导出已提交,排队等待
导出中正在生成文件
已导出全部完成,版本冻结,可用于训练
导出失败整体失败,查看日志后重新导出

数据集预览 ​

在数据集管理中点击 预览,可以查看样本列表、单条样本的视频与本体曲线,以及导出清单中的标签与区间。

边采边训 ​

可以分批供给数据:每采完一批,治理并导出一个新版本,用新版本建训练任务。每个训练任务都绑定一个固定版本。

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册