Skip to content

现场验证与评测 ​

模型部署后,需要在真实环境中验证它是否能稳定完成任务。NexCore 提供两种手段:现场验证(推理测试与人工观察)和 NexBench 评测(按节点与执行步骤自动评分)。

现场验证 ​

制定验证条件 ​

验证前先明确条件,结论才有意义:

条件示例
任务定义把方块从托盘放入盒子,放入盒内即成功
场景范围方块位置在托盘 30 cm × 20 cm 范围内随机
测试轮次每个模型版本 20 轮
环境室内常规照明,背景不变

执行验证 ​

  1. 在部署实例上点击 推理测试,填写测试场景与轮次。
  2. 完成安全确认,启动测试。
  3. 现场人员观察每轮执行,必要时通过急停中断。
  4. 测试结束后,在推理任务详情中查看执行记录。

记录结论 ​

验证结论至少包括:测试条件、轮次、成功轮次、失败现象与对应的模型版本。失败片段在推理回流中自动保留,可以直接复核。

NexBench 评测 ​

NexBench 是推理任务级的评测能力:在推理任务上按执行节点与执行步骤采集数据并评分,用于定位失败环节、横向比较模型版本。

开启方式 ​

  • 在新建部署或推理任务时打开 NexBench 开关,默认关闭;
  • 开关状态写入部署记录;
  • 关闭时推理过程仍会回流,只是不评分。
由什么决定
评不评分NexBench 开关
回不回流无需开关,所有推理过程都回流

评测指标 ​

指标含义
成功率该节点在全部执行轮次中的成功比例
节拍该节点的平均执行时长
精度该节点的定位或放置误差
  • 缺失的节点标注「未评测」,不按 0 分处理;
  • 低分节点自动进入 Badcase 列表,复核后可回到治理。

跨任务汇总 ​

左侧导航「模型评测 → NexBench」提供跨推理任务的汇总视图:

  • 按模型版本对比各节点成功率与节拍;
  • 按时间查看同一任务的评分变化;
  • 从汇总结果跳转到推理任务与 Badcase。

结果使用 ​

  • 评测结果在平台中查看,作为质量改进的依据;
  • 成功率、精度与节拍取决于任务定义、数据量与测试条件,不同条件下的数值不可直接比较;
  • 正式验收以双方约定的测试条件为准,评测结果是验收的参考之一。

建议

在模型验证阶段开启 NexBench,用节点评分定位失败环节。对节拍敏感的产线,先在验证环境中开启评测,再决定是否在产线上开启。

常见问题 ​

问题处理
推理结果没有评分该推理任务未开启 NexBench
某个节点显示未评测该节点在本轮未执行或未采集到数据,不计为 0 分
两个模型版本的成功率差异很大确认测试条件一致,再查看失败节点的 Badcase

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册