Skip to content

世界模型评测服务使用说明 ​

更新日期:2026-11-11

本文说明如何调用世界模型评测服务,以及如何使用 Soma Policy 客户端执行测试。服务地址为 http://129.204.20.25:18085;访问前需向服务对接人员申请 IP 访问权限。当前接口使用 HTTP,不需要 SSH 隧道或 API Token。

一次 rollout 的基本流程是:选择场景 → 获取图片和状态 → Policy 预测动作 → 世界模型返回新图片和状态 → 继续运行。

状态说明

接口中的图片以 PNG Base64 字符串传输,SDK 可将其解码为 RGB 图片。后续状态目前根据最后执行的动作估算,并非从生成画面中测得的真实状态。接入不同 Policy 时,请特别核对夹爪数值的含义。

接口协议 ​

世界模型服务提供场景的初始图片和状态,以及执行动作后的新图片、状态和视频。画面包含主视角、左腕和右腕三个相机视角。

Policy 调用方需要提供场景编号,以及 Policy 根据当前图片和状态预测出的动作。初始图片和状态已部署在服务端,调用方无需自行准备数据集。

选择场景 ​

目前提供 20 条场景,编号从 0 开始,例如 block_sorting_0 至 block_sorting_19。每个编号对应独立的初始图片和状态;更换编号即可切换场景。

动作格式 ​

每次发送 24 行、每行 14 个数值,排列顺序为:

text
左臂 6 个关节角 + 左夹爪 + 右臂 6 个关节角 + 右夹爪
  • 关节角使用弧度,表示绝对目标角度。
  • 夹爪命令范围为 0 到 1。
  • 动作频率为 20 Hz,每行代表 0.05 秒。
  • 每次提供 24 行计划,可以只执行前 16 行,即推进 0.8 秒后重新预测。

这里的 20 Hz 表示动作序列的时间间隔,不要求每秒发送 20 次网络请求。如果 Policy 输出的是手的位置、相对动作或其他格式,需要先转换为上述关节动作;Soma 客户端已包含转换流程。

API 接口 ​

以下路径都拼接在服务地址后。例如,健康检查地址为 http://129.204.20.25:18085/v1/ready。

方法路径用途
GET/v1/ready检查服务是否可以接受请求
GET/v1/tasks查看可用场景
GET/v1/tasks/block_sorting_7查看指定场景信息
POST/v1/sessions选择场景并开始 rollout,返回初始图片和状态
POST/v1/sessions/{session_id}/steps提交 Policy 动作
GET/v1/jobs/{job_id}查询本轮生成状态并获取新图片和状态
GET/v1/artifacts/{artifact_id}下载本轮视频
DELETE/v1/sessions/{session_id}结束 rollout

开始 rollout 时发送:

json
{"task_id":"block_sorting_7"}

session_id 是整次 rollout 的编号,job_id 是其中某一轮生成任务的编号,均由服务返回。发送动作后,服务会先返回任务编号;图片生成完成后,再通过查询接口获取结果。使用 SDK 时无需自行编写轮询等待逻辑。

Python SDK ​

SDK 0.2.0 交付包及 wheel 安装文件请联系服务对接人员获取。安装示例:

bash
python -m pip install ./lumos_wm_sdk-0.2.0-py3-none-any.whl

以下展示调用顺序。actions20 是由调用方 Policy 生成并转换好的 24×14 动作数组;这是一段接入示意,不是完整的 Policy 程序。

python
from lumos_wm import WorldModelClient

client = WorldModelClient("http://129.204.20.25:18085")

# 1. 选择第 7 条场景,获取初始图片和状态
session = client.reset_task("block_sorting_7")
observation = session["observation"]

# 2. 用 observation 运行自己的 Policy,生成 actions20

# 3. 发送动作,等待新图片和状态
result = client.step(
    session["session_id"],
    actions20,
    expected_step_index=0,
    execute_steps=16,
)
observation = result["observation"]

# 4. 后续继续用新观测预测动作;完成后关闭会话
client.close(session["session_id"])

第三方可以使用自己的 Policy,无需使用 Soma。完整参数、错误处理和更多示例请联系服务对接人员获取。

使用 Soma 本地测试 ​

以下命令用于当前测试环境。世界模型服务在服务器上常驻运行,无需每次重新启动。

1. 启动本地 Policy ​

在终端 A 执行并保持运行。如果相同服务已经启动,可以复用:

bash
cd /home/ubuntu/work/nexworld_eval
/home/ubuntu/work/LumosVLA/newdeploy/soma configs/soma_block_wm.toml

该步骤加载积木任务 checkpoint,由 Policy 根据图片和状态预测动作。

2. 检查连接 ​

在终端 B 执行:

bash
cd /home/ubuntu/work/nexworld_eval
curl --noproxy '*' -fsS http://129.204.20.25:18085/v1/ready

返回 accepting_requests=true 表示服务可以接收请求。

3. 运行两轮测试 ​

继续在终端 B 执行:

bash
# 让本次 Python 请求直接连接世界模型服务,避免本地代理转发
export NO_PROXY="${NO_PROXY:+$NO_PROXY,}129.204.20.25,127.0.0.1,localhost"
export no_proxy="$NO_PROXY"

TEST_OUT="outputs/block_sorting_0_public_$(date +%Y%m%d_%H%M%S)"
/home/ubuntu/miniconda3/bin/python scripts/soma_wm_client.py \
  --config configs/soma_wm_client_public.toml \
  --task-id block_sorting_0 \
  --max-windows 2 \
  --output "$TEST_OUT"

该命令执行两轮“Policy 预测 → 世界模型生成”,推进 1.6 秒模拟时间。请求直接访问公网地址,不需要 SSH 隧道。切换场景时,将 block_sorting_0 改为其他场景编号。若要运行完整参考时长,移除 --max-windows 2 并指定新的输出目录;第 0 条场景默认推进 50.7 秒,其他场景按各自数据时长运行。

测试结果 ​

结果保存在 --output 指定的本地目录:

  • rollout.mp4:自动拼接的视频。
  • summary.json:执行轮数、模拟时长和结束状态。
  • 每轮文件夹:动作记录、返回图片和单轮视频。

两轮测试正常结束时,终端会显示推进到 1.6 秒并提示 Rollout complete。生成过程的实际等待时间通常长于视频时长。视频包含初始帧,因此两轮视频约 1.65 秒,对应 1.6 秒的模拟推进时间。

注意事项 ​

  • 当前使用 HTTP,访问需先申请 IP 权限;不需要 SSH 才能调用 API。
  • 当前由单个模型依次处理任务,同时提交的任务会排队。
  • 后续 state 是动作目标的近似值,可能与画面不完全一致。
  • 目前没有自动判断积木任务是否成功;rollout 完成不代表任务成功。
  • 服务重启后,旧会话不能继续使用,需要重新开始。

更多操作、故障恢复、字段说明、接口返回格式和部署运维资料,请联系服务对接人员获取。

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册