Skip to content

数据格式 ​

NexCore 涉及两组格式,属于不同环节:

环节格式由什么决定
落库(采集入池)HDF5 / RAW设备型号自动决定
导出(数据集版本)HDF5 / LeRobot导出时选择

关于字段与维度

下文给出的是平台的典型结构。具体相机路数、关节维度与采样频率取决于设备配置,以文件内的元数据(attrs / info.json)为准。

落库 HDF5(遥操设备) ​

Station Lite、MOS 采集的每条数据为一个 .hdf5 文件,所有数据流按统一时间戳对齐,典型对齐频率为 30 Hz。

text
episode_000123.hdf5
├── attrs                       # 文件级元数据
│   ├── data_id                 # 平台数据 ID
│   ├── task_id                 # 所属采集任务 ID
│   ├── device_model            # 设备型号,如 "Station Lite"
│   ├── device_sn               # 设备 SN
│   ├── fps                     # 对齐频率,如 30
│   └── collected_at            # 采集开始时间(ISO 8601)
├── timestamp                   # (T,) float64,Unix 秒
├── observations
│   ├── qpos                    # (T, D) float32,关节位置
│   ├── qvel                    # (T, D) float32,关节速度
│   ├── effort                  # (T, D) float32,关节力矩(设备支持时)
│   ├── eef_pose                # (T, 2, 7) float32,双臂末端位姿 [x, y, z, qx, qy, qz, qw]
│   ├── gripper                 # (T, 2) float32,双臂夹爪开合,归一化到 [0, 1]
│   └── images
│       ├── cam_high            # (T,) 变长字节,JPEG 压缩帧
│       ├── cam_left_wrist
│       └── cam_right_wrist
├── action                      # (T, D) float32,遥操指令(与 qpos 同维度)
└── base_action                 # (T, 2) float32,底盘线速度 / 角速度(仅 MOS)
设备关节维度 D相机配置
Station Lite14(双臂各 6 关节 + 1 夹爪)顶部 1 路 + 腕部 2 路
MOS14(双臂)+ 底盘 2 维头部 1 路 + 腕部 2 路

读取示例 ​

python
import h5py

with h5py.File("episode_000123.hdf5", "r") as f:
    print(dict(f.attrs))
    qpos = f["observations/qpos"][:]          # (T, D)
    action = f["action"][:]                   # (T, D)
    first_frame = f["observations/images/cam_high"][0]  # JPEG 字节
    print(qpos.shape, action.shape, len(first_frame))

落库 RAW(无本体设备) ​

无本体Ego、无本体UMI 采集的每条数据为一个目录,保存原始传感器数据,不含本体状态。

text
session_20261020_103015/
├── manifest.json               # 会话元数据与文件清单
├── video/
│   ├── left.mp4                # 左目视频
│   └── right.mp4               # 右目视频
├── imu.csv                     # IMU 原始数据
├── frame_timestamps.csv        # 每帧的设备时间戳
└── calib/
    └── stereo.yaml             # 双目内外参

manifest.json 示例:

json
{
  "data_id": "6af1c2d3e4b5a69788123456",
  "task_id": "20261020103000_ORG01",
  "device_model": "NexUMI",
  "device_sn": "NU-2609-0012",
  "started_at": "2026-10-20T10:30:15+08:00",
  "duration_sec": 142.6,
  "streams": [
    { "name": "left", "type": "video", "file": "video/left.mp4", "fps": 30 },
    { "name": "right", "type": "video", "file": "video/right.mp4", "fps": 30 },
    { "name": "imu", "type": "imu", "file": "imu.csv", "rate_hz": 200 }
  ]
}

RAW 数据必须经过管线处理。管线产物(如 SLAM 轨迹、深度、手部关键点)以结构化格式写入资产池,来源标记为管线任务 ID,原始 RAW 保留。

导出 HDF5 ​

导出 HDF5 时,每条样本一个文件,结构与落库 HDF5 一致,并按治理指令处理:

  • 标记为「整条待删除」的数据不导出;
  • 排除区间对应的帧被裁掉;
  • 存在保留区间时,只导出保留区间内的帧。

数据集目录:

text
dataset_<名称>_v3/
├── manifest.json               # 导出清单
├── episode_000000.hdf5
├── episode_000001.hdf5
└── ...

导出 LeRobot ​

按 LeRobot 数据集规范组织:

text
dataset_<名称>_v3/
├── meta/
│   ├── info.json               # fps、特征定义、样本与帧总数
│   ├── episodes.jsonl          # 每条样本的长度与任务
│   ├── tasks.jsonl             # 任务描述
│   └── stats.json              # 各特征的统计量
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       └── ...
├── videos/
│   └── chunk-000/
│       ├── observation.images.cam_high/episode_000000.mp4
│       └── ...
└── nexcore_manifest.json       # NexCore 导出清单
LeRobot 特征对应 HDF5 字段
observation.stateobservations/qpos
actionaction
observation.images.<相机>observations/images/<相机>
timestamp相对样本起点的秒数

导出清单 ​

每个数据集版本都附带导出清单,始终记录每条样本的来源、标签、备注与区间。

json
{
  "dataset_id": "6b02a1f0c3d4e5f60718293a",
  "name": "插花_双臂",
  "version": 3,
  "parent_version": 2,
  "format": "HDF5",
  "project": { "id": "6afe...", "name": "插花治理", "version": 5 },
  "exported_at": "2026-10-20T15:42:10+08:00",
  "counts": { "included": 100, "normal": 99, "abnormal": 1 },
  "episodes": [
    {
      "file": "episode_000000.hdf5",
      "data_id": "6af1c2d3e4b5a69788123456",
      "source": "collection",
      "review_status": "REVIEWED",
      "annotations": [
        { "note": "黑屏", "start_frame": 360, "end_frame": 600 }
      ],
      "segments": [
        { "action": "EXCLUDE", "start_frame": 360, "end_frame": 600 }
      ]
    }
  ],
  "failures": [
    { "data_id": "6af1c2d3e4b5a69788123499", "reason": "通道 cam_left_wrist 缺失" }
  ]
}
字段说明
source样本来源:collection(采集)/ inference_feedback(推理回流)/ operation_feedback(连续作业回流)/ pipeline(管线产物)
review_statusPENDING 待核验 / REVIEWED 已核验
annotations异常标签,note 为备注
segments区间指令,action 为 KEEP 或 EXCLUDE
countsnormal + abnormal = included

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册