Skip to content

上传方式与落库格式 ​

上传方式、落库格式和设备 SN 是三件不同的事,不在同一层做选择:

维度由什么决定解决的问题
上传方式创建任务时选择数据怎么回传
落库格式设备型号自动决定数据以什么格式入池
设备 SN创建任务时选择数据来自哪一台设备

三种上传方式 ​

方式机制优势代价适用场景
全量上传整条任务数据完整回传数据最完整带宽占用最高小批量、高价值任务
筛查上传采集端先粗筛无效片段,再上传节省带宽与存储依赖采集员判断,可能误删采集员经验稳定的量产任务
切片上传按时长切片,边采边传长时作业友好,中断损失小切片边界可能切断动作整日连续作业、连续作业回流

三种方式对所有设备开放,与设备型号解耦。

全量上传 ​

  • 每条数据采集结束后整包上传。
  • 上传失败的数据会自动重试,重试仍失败时在任务详情中标记,可手动补传。
  • 无需额外配置。

筛查上传 ​

  • 采集端在上传前运行筛查规则,过滤明显无效的片段(例如全程黑屏、关节数据大段缺失)。
  • 筛查需要逐帧校验,整体上传速度会慢于全量上传。
  • 筛查规则由研发工程师按客户场景配置并验证,平台不内置通用阈值。

筛查不能替代治理

筛查只做粗筛。通过筛查上传的数据仍需进入治理项目做质量标记与人工核验。

切片上传 ​

  • 长时录制按固定时长切片,逐片上传,最低切片时长 5 分钟。
  • 支持断点续传;重复或乱序上传不会重复生成样本。
  • 一个动作跨两个切片时,平台在后续处理中自动续接为一条样本。

如何选择 ​

text
任务是否整日连续作业?
├─ 是 → 切片上传
└─ 否 → 单批数据是否高价值、条数较少?
        ├─ 是 → 全量上传
        └─ 否 → 采集员经验是否稳定?
                ├─ 是 → 筛查上传
                └─ 否 → 全量上传

两种落库格式 ​

落库格式设备特点能否直接治理
HDF5Station Lite、MOS(遥操)包含本体状态(关节、夹爪、末端位姿)与多路图像,按时间戳对齐✓
RAW无本体Ego、无本体UMI原始传感器数据(图像、IMU 等),不含本体状态✗,必须先过管线
  • 落库格式由型号自动确定,创建任务时不提供格式选项,创建后不可更改。
  • 资产列表中的格式列只显示 HDF5 或 RAW 两种。
  • HDF5 同时也是数据集的导出格式之一,但两者是不同环节的概念:落库格式在采集端决定,导出格式在数据集导出时选择。

文件内部结构见数据格式。

带宽参考 ​

以下为单台设备持续采集时的经验值,实际取决于相机路数、分辨率与压缩配置:

设备单条 1 分钟数据体积(参考)建议上行带宽
Station Lite约 150–250 MB≥ 20 Mbps
MOS约 200–350 MB≥ 30 Mbps
无本体Ego约 100–200 MB≥ 20 Mbps
无本体UMI约 80–150 MB≥ 10 Mbps

带宽不足时,数据会在采集端缓存并排队上传,不影响采集本身;任务进度以上传完成为准。

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册