现场验证与评测
模型部署后,需要在真实环境中验证它是否能稳定完成任务。NexCore 提供两种手段:现场验证(推理测试与人工观察)和 NexBench 评测(按节点与执行步骤自动评分)。
现场验证
制定验证条件
验证前先明确条件,结论才有意义:
| 条件 | 示例 |
|---|---|
| 任务定义 | 把方块从托盘放入盒子,放入盒内即成功 |
| 场景范围 | 方块位置在托盘 30 cm × 20 cm 范围内随机 |
| 测试轮次 | 每个模型版本 20 轮 |
| 环境 | 室内常规照明,背景不变 |
执行验证
- 在部署实例上点击 推理测试,填写测试场景与轮次。
- 完成安全确认,启动测试。
- 现场人员观察每轮执行,必要时通过急停中断。
- 测试结束后,在推理任务详情中查看执行记录。
记录结论
验证结论至少包括:测试条件、轮次、成功轮次、失败现象与对应的模型版本。失败片段在推理回流中自动保留,可以直接复核。
NexBench 评测
NexBench 是推理任务级的评测能力:在推理任务上按执行节点与执行步骤采集数据并评分,用于定位失败环节、横向比较模型版本。
开启方式
- 在新建部署或推理任务时打开 NexBench 开关,默认关闭;
- 开关状态写入部署记录;
- 关闭时推理过程仍会回流,只是不评分。
| 由什么决定 | |
|---|---|
| 评不评分 | NexBench 开关 |
| 回不回流 | 无需开关,所有推理过程都回流 |
评测指标
| 指标 | 含义 |
|---|---|
| 成功率 | 该节点在全部执行轮次中的成功比例 |
| 节拍 | 该节点的平均执行时长 |
| 精度 | 该节点的定位或放置误差 |
- 缺失的节点标注「未评测」,不按 0 分处理;
- 低分节点自动进入 Badcase 列表,复核后可回到治理。
跨任务汇总
左侧导航「模型评测 → NexBench」提供跨推理任务的汇总视图:
- 按模型版本对比各节点成功率与节拍;
- 按时间查看同一任务的评分变化;
- 从汇总结果跳转到推理任务与 Badcase。
结果使用
- 评测结果在平台中查看,作为质量改进的依据;
- 成功率、精度与节拍取决于任务定义、数据量与测试条件,不同条件下的数值不可直接比较;
- 正式验收以双方约定的测试条件为准,评测结果是验收的参考之一。
建议
在模型验证阶段开启 NexBench,用节点评分定位失败环节。对节拍敏感的产线,先在验证环境中开启评测,再决定是否在产线上开启。
常见问题
| 问题 | 处理 |
|---|---|
| 推理结果没有评分 | 该推理任务未开启 NexBench |
| 某个节点显示未评测 | 该节点在本轮未执行或未采集到数据,不计为 0 分 |
| 两个模型版本的成功率差异很大 | 确认测试条件一致,再查看失败节点的 Badcase |

