数据管理概览
数据管理负责把上传的数据变成可追溯、可治理、可训练的资产。它包含五个部分:
| 模块 | 用途 | 入口 |
|---|---|---|
| 数据上传 | 全量、筛查、切片三种上传方式;HDF5 与 RAW 两种落库格式 | 采集任务创建时选择 |
| 数据资产 | 全部已入池数据的总表,以采集任务为第一筛选维度 | 数据治理 → 数据资产 |
| 治理项目 | 引用一批数据的工作区,可持续编辑 | 数据治理 → 数据任务管理 |
| 数据工作台 | 预览、标记、剪辑、核验与批量处理 | 数据治理 → 数据工作台 |
| 数据集与版本 | 从治理项目导出的冻结快照,供训练与交付 | 数据治理 → 数据集管理 |
数据如何流转
- 上传完成并通过完整性校验的数据进入数据资产,获得固定的数据 ID。
- 从数据资产中勾选数据,建立治理项目。
- 在数据工作台中标记质量问题、划定保留与排除区间、人工核验;RAW 数据先经过数据管线。
- 治理完成后导出为数据集版本,用于训练或交付。
数据治理
NexCore 的治理是非破坏式的:
| 操作 | 实际效果 |
|---|---|
| 打标签 | 记录一条元数据 |
| 划排除区间 | 记录一条导出指令 |
| 整条待删除 | 记录一条导出指令 |
| 管线处理 | 生成新的产物,原始数据保留 |
| 导出数据集 | 按指令生成新的文件 |
原始数据在任何操作后都保持不变,可以随时回到原始状态重新治理。
数据状态
| 状态 | 含义 | 可否加入治理项目 |
|---|---|---|
| 可治理 | HDF5 数据,或已经过管线的产物 | ✓ |
| 待管线 | RAW 数据,尚未经过管线 | ✗ |
| 校验失败 | 上传完整性校验未通过 | ✗ |
| 已导出 | 已被至少一个数据集版本引用 | ✓ |
数据隔离与安全
- 数据按项目隔离,跨项目检索不到其他项目的数据;
- 导出、删除、核验等操作记录操作者与时间;
- 数据存储在所属区域的存储节点,需要本地保存时可选择私有化部署。

