训练监控与检查点
入口:「模型训练 → 任务管理」,在任务卡片上点击 详情。
任务列表
任务列表以卡片显示每个训练任务:
| 字段 | 说明 |
|---|---|
| 任务名称与状态 | 见下方状态表 |
| 数据集 | 训练使用的数据集版本 |
| 资源队列 | 任务所在的算力队列 |
| 算力配置 | 实例与 GPU 规格 |
| 产出模型 | 训练完成后产出的模型名称与版本 |
| 创建时间 | — |
列表支持按任务名称搜索,可切换为表格视图。
训练状态
| 状态 | 含义 | 可执行操作 |
|---|---|---|
| 排队中 | 等待空闲算力 | 取消 |
| 训练中 | 正在训练 | 导出检查点、停止 |
| 已完成 | 跑满既定步数,产出模型版本 | 查看模型、对比 |
| 已停止 | 被手动停止,已导出的检查点保留 | 查看日志 |
| 失败 | 异常终止 | 查看日志、重新创建 |
监控指标
| 指标 | 说明 | 如何判断 |
|---|---|---|
| Loss 曲线 | 训练与验证 Loss 随步数变化 | 持续下降并趋于平稳为正常;验证 Loss 明显回升提示过拟合 |
| 学习率曲线 | 实际学习率调度 | 与模板设定一致 |
| 吞吐 | 每秒处理样本数 | 明显低于同规格历史任务时,检查数据加载 |
| GPU 利用率与显存 | 各卡实时占用 | 利用率长期偏低时,瓶颈通常在数据加载 |
| 步数与用时 | 当前步数 / 总步数,已用时间 | 估计剩余时间 |
| 日志 | 训练进程输出 | 定位报错 |
导出检查点
训练中可以随时导出当前检查点:
- 在详情页点击 导出检查点。
- 平台把当前步数的权重登记为一个检查点模型,标注步数与进度百分比,例如「步数 50,000 · 62%」。
- 检查点模型出现在模型管理中,可以直接部署做推理测试。
| 规则 | 说明 |
|---|---|
| 不中断训练 | 主训练任务继续,状态仍为「训练中」,进度不回退 |
| 不重复创建 | 同一步数重复导出时提示已存在 |
| 不等于交付 | 检查点用于验证方向,交付前仍需完成评测与现场验证 |
建议的检查点节奏
在进度约 25%、50%、75% 时各导出一次检查点并做推理测试,可以尽早发现数据问题,避免跑完整个训练才发现方向错误。
任务对比
在任务列表点击 任务对比,选择多个训练任务,可以把 Loss 曲线叠加显示,并并列查看数据集版本、模型家族与参数快照。由于训练策略统一,对比结果直接反映数据与模型家族的差异。
停止训练
在详情页点击 停止。停止后任务状态为「已停止」,已导出的检查点模型保留。停止的任务不能继续,需要时重新创建。
训练异常排查
| 现象 | 先检查 | 处理 |
|---|---|---|
| 长时间排队 | 资源队列占用 | 保持排队;需要调整配额联系管理员 |
| 训练失败 | 日志中的报错 | 数据格式问题回到导出环节;资源问题重新提交 |
| Loss 不下降 | 数据中失败示范比例、动作标注是否正确 | 回到数据工作台检查并导出新版本 |
| Loss 出现异常尖峰 | 是否存在异常样本 | 查看对应样本,标记排除后重新导出 |

