Skip to content

数据管理概览 ​

数据管理负责把上传的数据变成可追溯、可治理、可训练的资产。它包含五个部分:

模块用途入口
数据上传全量、筛查、切片三种上传方式;HDF5 与 RAW 两种落库格式采集任务创建时选择
数据资产全部已入池数据的总表,以采集任务为第一筛选维度数据治理 → 数据资产
治理项目引用一批数据的工作区,可持续编辑数据治理 → 数据任务管理
数据工作台预览、标记、剪辑、核验与批量处理数据治理 → 数据工作台
数据集与版本从治理项目导出的冻结快照,供训练与交付数据治理 → 数据集管理

数据如何流转 ​

数据资产、治理项目、处理任务、输出产物与数据集版本的关系

  1. 上传完成并通过完整性校验的数据进入数据资产,获得固定的数据 ID。
  2. 从数据资产中勾选数据,建立治理项目。
  3. 在数据工作台中标记质量问题、划定保留与排除区间、人工核验;RAW 数据先经过数据管线。
  4. 治理完成后导出为数据集版本,用于训练或交付。

数据治理 ​

NexCore 的治理是非破坏式的:

操作实际效果
打标签记录一条元数据
划排除区间记录一条导出指令
整条待删除记录一条导出指令
管线处理生成新的产物,原始数据保留
导出数据集按指令生成新的文件

原始数据在任何操作后都保持不变,可以随时回到原始状态重新治理。

数据状态 ​

状态含义可否加入治理项目
可治理HDF5 数据,或已经过管线的产物✓
待管线RAW 数据,尚未经过管线✗
校验失败上传完整性校验未通过✗
已导出已被至少一个数据集版本引用✓

数据隔离与安全 ​

  • 数据按项目隔离,跨项目检索不到其他项目的数据;
  • 导出、删除、核验等操作记录操作者与时间;
  • 数据存储在所属区域的存储节点,需要本地保存时可选择私有化部署。

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册