数据格式
NexCore 涉及两组格式,属于不同环节:
| 环节 | 格式 | 由什么决定 |
|---|---|---|
| 落库(采集入池) | HDF5 / RAW | 设备型号自动决定 |
| 导出(数据集版本) | HDF5 / LeRobot | 导出时选择 |
关于字段与维度
下文给出的是平台的典型结构。具体相机路数、关节维度与采样频率取决于设备配置,以文件内的元数据(attrs / info.json)为准。
落库 HDF5(遥操设备)
Station Lite、MOS 采集的每条数据为一个 .hdf5 文件,所有数据流按统一时间戳对齐,典型对齐频率为 30 Hz。
text
episode_000123.hdf5
├── attrs # 文件级元数据
│ ├── data_id # 平台数据 ID
│ ├── task_id # 所属采集任务 ID
│ ├── device_model # 设备型号,如 "Station Lite"
│ ├── device_sn # 设备 SN
│ ├── fps # 对齐频率,如 30
│ └── collected_at # 采集开始时间(ISO 8601)
├── timestamp # (T,) float64,Unix 秒
├── observations
│ ├── qpos # (T, D) float32,关节位置
│ ├── qvel # (T, D) float32,关节速度
│ ├── effort # (T, D) float32,关节力矩(设备支持时)
│ ├── eef_pose # (T, 2, 7) float32,双臂末端位姿 [x, y, z, qx, qy, qz, qw]
│ ├── gripper # (T, 2) float32,双臂夹爪开合,归一化到 [0, 1]
│ └── images
│ ├── cam_high # (T,) 变长字节,JPEG 压缩帧
│ ├── cam_left_wrist
│ └── cam_right_wrist
├── action # (T, D) float32,遥操指令(与 qpos 同维度)
└── base_action # (T, 2) float32,底盘线速度 / 角速度(仅 MOS)| 设备 | 关节维度 D | 相机配置 |
|---|---|---|
| Station Lite | 14(双臂各 6 关节 + 1 夹爪) | 顶部 1 路 + 腕部 2 路 |
| MOS | 14(双臂)+ 底盘 2 维 | 头部 1 路 + 腕部 2 路 |
读取示例
python
import h5py
with h5py.File("episode_000123.hdf5", "r") as f:
print(dict(f.attrs))
qpos = f["observations/qpos"][:] # (T, D)
action = f["action"][:] # (T, D)
first_frame = f["observations/images/cam_high"][0] # JPEG 字节
print(qpos.shape, action.shape, len(first_frame))落库 RAW(无本体设备)
无本体Ego、无本体UMI 采集的每条数据为一个目录,保存原始传感器数据,不含本体状态。
text
session_20261020_103015/
├── manifest.json # 会话元数据与文件清单
├── video/
│ ├── left.mp4 # 左目视频
│ └── right.mp4 # 右目视频
├── imu.csv # IMU 原始数据
├── frame_timestamps.csv # 每帧的设备时间戳
└── calib/
└── stereo.yaml # 双目内外参manifest.json 示例:
json
{
"data_id": "6af1c2d3e4b5a69788123456",
"task_id": "20261020103000_ORG01",
"device_model": "NexUMI",
"device_sn": "NU-2609-0012",
"started_at": "2026-10-20T10:30:15+08:00",
"duration_sec": 142.6,
"streams": [
{ "name": "left", "type": "video", "file": "video/left.mp4", "fps": 30 },
{ "name": "right", "type": "video", "file": "video/right.mp4", "fps": 30 },
{ "name": "imu", "type": "imu", "file": "imu.csv", "rate_hz": 200 }
]
}RAW 数据必须经过管线处理。管线产物(如 SLAM 轨迹、深度、手部关键点)以结构化格式写入资产池,来源标记为管线任务 ID,原始 RAW 保留。
导出 HDF5
导出 HDF5 时,每条样本一个文件,结构与落库 HDF5 一致,并按治理指令处理:
- 标记为「整条待删除」的数据不导出;
- 排除区间对应的帧被裁掉;
- 存在保留区间时,只导出保留区间内的帧。
数据集目录:
text
dataset_<名称>_v3/
├── manifest.json # 导出清单
├── episode_000000.hdf5
├── episode_000001.hdf5
└── ...导出 LeRobot
按 LeRobot 数据集规范组织:
text
dataset_<名称>_v3/
├── meta/
│ ├── info.json # fps、特征定义、样本与帧总数
│ ├── episodes.jsonl # 每条样本的长度与任务
│ ├── tasks.jsonl # 任务描述
│ └── stats.json # 各特征的统计量
├── data/
│ └── chunk-000/
│ ├── episode_000000.parquet
│ └── ...
├── videos/
│ └── chunk-000/
│ ├── observation.images.cam_high/episode_000000.mp4
│ └── ...
└── nexcore_manifest.json # NexCore 导出清单| LeRobot 特征 | 对应 HDF5 字段 |
|---|---|
observation.state | observations/qpos |
action | action |
observation.images.<相机> | observations/images/<相机> |
timestamp | 相对样本起点的秒数 |
导出清单
每个数据集版本都附带导出清单,始终记录每条样本的来源、标签、备注与区间。
json
{
"dataset_id": "6b02a1f0c3d4e5f60718293a",
"name": "插花_双臂",
"version": 3,
"parent_version": 2,
"format": "HDF5",
"project": { "id": "6afe...", "name": "插花治理", "version": 5 },
"exported_at": "2026-10-20T15:42:10+08:00",
"counts": { "included": 100, "normal": 99, "abnormal": 1 },
"episodes": [
{
"file": "episode_000000.hdf5",
"data_id": "6af1c2d3e4b5a69788123456",
"source": "collection",
"review_status": "REVIEWED",
"annotations": [
{ "note": "黑屏", "start_frame": 360, "end_frame": 600 }
],
"segments": [
{ "action": "EXCLUDE", "start_frame": 360, "end_frame": 600 }
]
}
],
"failures": [
{ "data_id": "6af1c2d3e4b5a69788123499", "reason": "通道 cam_left_wrist 缺失" }
]
}| 字段 | 说明 |
|---|---|
source | 样本来源:collection(采集)/ inference_feedback(推理回流)/ operation_feedback(连续作业回流)/ pipeline(管线产物) |
review_status | PENDING 待核验 / REVIEWED 已核验 |
annotations | 异常标签,note 为备注 |
segments | 区间指令,action 为 KEEP 或 EXCLUDE |
counts | normal + abnormal = included |

