上传方式与落库格式
上传方式、落库格式和设备 SN 是三件不同的事,不在同一层做选择:
| 维度 | 由什么决定 | 解决的问题 |
|---|---|---|
| 上传方式 | 创建任务时选择 | 数据怎么回传 |
| 落库格式 | 设备型号自动决定 | 数据以什么格式入池 |
| 设备 SN | 创建任务时选择 | 数据来自哪一台设备 |
三种上传方式
| 方式 | 机制 | 优势 | 代价 | 适用场景 |
|---|---|---|---|---|
| 全量上传 | 整条任务数据完整回传 | 数据最完整 | 带宽占用最高 | 小批量、高价值任务 |
| 筛查上传 | 采集端先粗筛无效片段,再上传 | 节省带宽与存储 | 依赖采集员判断,可能误删 | 采集员经验稳定的量产任务 |
| 切片上传 | 按时长切片,边采边传 | 长时作业友好,中断损失小 | 切片边界可能切断动作 | 整日连续作业、连续作业回流 |
三种方式对所有设备开放,与设备型号解耦。
全量上传
- 每条数据采集结束后整包上传。
- 上传失败的数据会自动重试,重试仍失败时在任务详情中标记,可手动补传。
- 无需额外配置。
筛查上传
- 采集端在上传前运行筛查规则,过滤明显无效的片段(例如全程黑屏、关节数据大段缺失)。
- 筛查需要逐帧校验,整体上传速度会慢于全量上传。
- 筛查规则由研发工程师按客户场景配置并验证,平台不内置通用阈值。
筛查不能替代治理
筛查只做粗筛。通过筛查上传的数据仍需进入治理项目做质量标记与人工核验。
切片上传
- 长时录制按固定时长切片,逐片上传,最低切片时长 5 分钟。
- 支持断点续传;重复或乱序上传不会重复生成样本。
- 一个动作跨两个切片时,平台在后续处理中自动续接为一条样本。
如何选择
text
任务是否整日连续作业?
├─ 是 → 切片上传
└─ 否 → 单批数据是否高价值、条数较少?
├─ 是 → 全量上传
└─ 否 → 采集员经验是否稳定?
├─ 是 → 筛查上传
└─ 否 → 全量上传两种落库格式
| 落库格式 | 设备 | 特点 | 能否直接治理 |
|---|---|---|---|
| HDF5 | Station Lite、MOS(遥操) | 包含本体状态(关节、夹爪、末端位姿)与多路图像,按时间戳对齐 | ✓ |
| RAW | 无本体Ego、无本体UMI | 原始传感器数据(图像、IMU 等),不含本体状态 | ✗,必须先过管线 |
- 落库格式由型号自动确定,创建任务时不提供格式选项,创建后不可更改。
- 资产列表中的格式列只显示 HDF5 或 RAW 两种。
- HDF5 同时也是数据集的导出格式之一,但两者是不同环节的概念:落库格式在采集端决定,导出格式在数据集导出时选择。
文件内部结构见数据格式。
带宽参考
以下为单台设备持续采集时的经验值,实际取决于相机路数、分辨率与压缩配置:
| 设备 | 单条 1 分钟数据体积(参考) | 建议上行带宽 |
|---|---|---|
| Station Lite | 约 150–250 MB | ≥ 20 Mbps |
| MOS | 约 200–350 MB | ≥ 30 Mbps |
| 无本体Ego | 约 100–200 MB | ≥ 20 Mbps |
| 无本体UMI | 约 80–150 MB | ≥ 10 Mbps |
带宽不足时,数据会在采集端缓存并排队上传,不影响采集本身;任务进度以上传完成为准。

