Skip to content

训练监控与检查点 ​

入口:「模型训练 → 任务管理」,在任务卡片上点击 详情。

任务列表 ​

任务列表以卡片显示每个训练任务:

字段说明
任务名称与状态见下方状态表
数据集训练使用的数据集版本
资源队列任务所在的算力队列
算力配置实例与 GPU 规格
产出模型训练完成后产出的模型名称与版本
创建时间—

列表支持按任务名称搜索,可切换为表格视图。

训练状态 ​

状态含义可执行操作
排队中等待空闲算力取消
训练中正在训练导出检查点、停止
已完成跑满既定步数,产出模型版本查看模型、对比
已停止被手动停止,已导出的检查点保留查看日志
失败异常终止查看日志、重新创建

监控指标 ​

指标说明如何判断
Loss 曲线训练与验证 Loss 随步数变化持续下降并趋于平稳为正常;验证 Loss 明显回升提示过拟合
学习率曲线实际学习率调度与模板设定一致
吞吐每秒处理样本数明显低于同规格历史任务时,检查数据加载
GPU 利用率与显存各卡实时占用利用率长期偏低时,瓶颈通常在数据加载
步数与用时当前步数 / 总步数,已用时间估计剩余时间
日志训练进程输出定位报错

导出检查点 ​

训练中可以随时导出当前检查点:

  1. 在详情页点击 导出检查点。
  2. 平台把当前步数的权重登记为一个检查点模型,标注步数与进度百分比,例如「步数 50,000 · 62%」。
  3. 检查点模型出现在模型管理中,可以直接部署做推理测试。
规则说明
不中断训练主训练任务继续,状态仍为「训练中」,进度不回退
不重复创建同一步数重复导出时提示已存在
不等于交付检查点用于验证方向,交付前仍需完成评测与现场验证

建议的检查点节奏

在进度约 25%、50%、75% 时各导出一次检查点并做推理测试,可以尽早发现数据问题,避免跑完整个训练才发现方向错误。

任务对比 ​

在任务列表点击 任务对比,选择多个训练任务,可以把 Loss 曲线叠加显示,并并列查看数据集版本、模型家族与参数快照。由于训练策略统一,对比结果直接反映数据与模型家族的差异。

停止训练 ​

在详情页点击 停止。停止后任务状态为「已停止」,已导出的检查点模型保留。停止的任务不能继续,需要时重新创建。

训练异常排查 ​

现象先检查处理
长时间排队资源队列占用保持排队;需要调整配额联系管理员
训练失败日志中的报错数据格式问题回到导出环节;资源问题重新提交
Loss 不下降数据中失败示范比例、动作标注是否正确回到数据工作台检查并导出新版本
Loss 出现异常尖峰是否存在异常样本查看对应样本,标记排除后重新导出

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册