世界模型评测服务使用说明
更新日期:2026-11-11
本文说明如何调用世界模型评测服务,以及如何使用 Soma Policy 客户端执行测试。服务地址为 http://129.204.20.25:18085;访问前需向服务对接人员申请 IP 访问权限。当前接口使用 HTTP,不需要 SSH 隧道或 API Token。
一次 rollout 的基本流程是:选择场景 → 获取图片和状态 → Policy 预测动作 → 世界模型返回新图片和状态 → 继续运行。
状态说明
接口中的图片以 PNG Base64 字符串传输,SDK 可将其解码为 RGB 图片。后续状态目前根据最后执行的动作估算,并非从生成画面中测得的真实状态。接入不同 Policy 时,请特别核对夹爪数值的含义。
接口协议
世界模型服务提供场景的初始图片和状态,以及执行动作后的新图片、状态和视频。画面包含主视角、左腕和右腕三个相机视角。
Policy 调用方需要提供场景编号,以及 Policy 根据当前图片和状态预测出的动作。初始图片和状态已部署在服务端,调用方无需自行准备数据集。
选择场景
目前提供 20 条场景,编号从 0 开始,例如 block_sorting_0 至 block_sorting_19。每个编号对应独立的初始图片和状态;更换编号即可切换场景。
动作格式
每次发送 24 行、每行 14 个数值,排列顺序为:
左臂 6 个关节角 + 左夹爪 + 右臂 6 个关节角 + 右夹爪- 关节角使用弧度,表示绝对目标角度。
- 夹爪命令范围为 0 到 1。
- 动作频率为 20 Hz,每行代表 0.05 秒。
- 每次提供 24 行计划,可以只执行前 16 行,即推进 0.8 秒后重新预测。
这里的 20 Hz 表示动作序列的时间间隔,不要求每秒发送 20 次网络请求。如果 Policy 输出的是手的位置、相对动作或其他格式,需要先转换为上述关节动作;Soma 客户端已包含转换流程。
API 接口
以下路径都拼接在服务地址后。例如,健康检查地址为 http://129.204.20.25:18085/v1/ready。
| 方法 | 路径 | 用途 |
|---|---|---|
GET | /v1/ready | 检查服务是否可以接受请求 |
GET | /v1/tasks | 查看可用场景 |
GET | /v1/tasks/block_sorting_7 | 查看指定场景信息 |
POST | /v1/sessions | 选择场景并开始 rollout,返回初始图片和状态 |
POST | /v1/sessions/{session_id}/steps | 提交 Policy 动作 |
GET | /v1/jobs/{job_id} | 查询本轮生成状态并获取新图片和状态 |
GET | /v1/artifacts/{artifact_id} | 下载本轮视频 |
DELETE | /v1/sessions/{session_id} | 结束 rollout |
开始 rollout 时发送:
{"task_id":"block_sorting_7"}session_id 是整次 rollout 的编号,job_id 是其中某一轮生成任务的编号,均由服务返回。发送动作后,服务会先返回任务编号;图片生成完成后,再通过查询接口获取结果。使用 SDK 时无需自行编写轮询等待逻辑。
Python SDK
SDK 0.2.0 交付包及 wheel 安装文件请联系服务对接人员获取。安装示例:
python -m pip install ./lumos_wm_sdk-0.2.0-py3-none-any.whl以下展示调用顺序。actions20 是由调用方 Policy 生成并转换好的 24×14 动作数组;这是一段接入示意,不是完整的 Policy 程序。
from lumos_wm import WorldModelClient
client = WorldModelClient("http://129.204.20.25:18085")
# 1. 选择第 7 条场景,获取初始图片和状态
session = client.reset_task("block_sorting_7")
observation = session["observation"]
# 2. 用 observation 运行自己的 Policy,生成 actions20
# 3. 发送动作,等待新图片和状态
result = client.step(
session["session_id"],
actions20,
expected_step_index=0,
execute_steps=16,
)
observation = result["observation"]
# 4. 后续继续用新观测预测动作;完成后关闭会话
client.close(session["session_id"])第三方可以使用自己的 Policy,无需使用 Soma。完整参数、错误处理和更多示例请联系服务对接人员获取。
使用 Soma 本地测试
以下命令用于当前测试环境。世界模型服务在服务器上常驻运行,无需每次重新启动。
1. 启动本地 Policy
在终端 A 执行并保持运行。如果相同服务已经启动,可以复用:
cd /home/ubuntu/work/nexworld_eval
/home/ubuntu/work/LumosVLA/newdeploy/soma configs/soma_block_wm.toml该步骤加载积木任务 checkpoint,由 Policy 根据图片和状态预测动作。
2. 检查连接
在终端 B 执行:
cd /home/ubuntu/work/nexworld_eval
curl --noproxy '*' -fsS http://129.204.20.25:18085/v1/ready返回 accepting_requests=true 表示服务可以接收请求。
3. 运行两轮测试
继续在终端 B 执行:
# 让本次 Python 请求直接连接世界模型服务,避免本地代理转发
export NO_PROXY="${NO_PROXY:+$NO_PROXY,}129.204.20.25,127.0.0.1,localhost"
export no_proxy="$NO_PROXY"
TEST_OUT="outputs/block_sorting_0_public_$(date +%Y%m%d_%H%M%S)"
/home/ubuntu/miniconda3/bin/python scripts/soma_wm_client.py \
--config configs/soma_wm_client_public.toml \
--task-id block_sorting_0 \
--max-windows 2 \
--output "$TEST_OUT"该命令执行两轮“Policy 预测 → 世界模型生成”,推进 1.6 秒模拟时间。请求直接访问公网地址,不需要 SSH 隧道。切换场景时,将 block_sorting_0 改为其他场景编号。若要运行完整参考时长,移除 --max-windows 2 并指定新的输出目录;第 0 条场景默认推进 50.7 秒,其他场景按各自数据时长运行。
测试结果
结果保存在 --output 指定的本地目录:
rollout.mp4:自动拼接的视频。summary.json:执行轮数、模拟时长和结束状态。- 每轮文件夹:动作记录、返回图片和单轮视频。
两轮测试正常结束时,终端会显示推进到 1.6 秒并提示 Rollout complete。生成过程的实际等待时间通常长于视频时长。视频包含初始帧,因此两轮视频约 1.65 秒,对应 1.6 秒的模拟推进时间。
注意事项
- 当前使用 HTTP,访问需先申请 IP 权限;不需要 SSH 才能调用 API。
- 当前由单个模型依次处理任务,同时提交的任务会排队。
- 后续 state 是动作目标的近似值,可能与画面不完全一致。
- 目前没有自动判断积木任务是否成功;rollout 完成不代表任务成功。
- 服务重启后,旧会话不能继续使用,需要重新开始。
更多操作、故障恢复、字段说明、接口返回格式和部署运维资料,请联系服务对接人员获取。

