Skip to content

NexCore 边侧模型部署与推理 SOP ​

本文介绍从模型准备到真机推理的部署流程。具体操作以已交付的设备、模型版本和安装包说明为准。

适用设备Lumos Station Lite / Lumos MOS 2
边侧主机Ubuntu 22.04 + NVIDIA GPU
操作顺序准备模型 → 安装 Policy → 部署 NexInf → 启动推理

开始前确认

Policy / ACT 安装包、NexInf 客户端及配套 wheel 请联系相关人员领取。不同交付版本的目录结构和依赖可能不同,请使用与当前设备和模型匹配的安装包。本文中的设备 IP、用户名、目录和模型名称均为示例或需按现场环境替换;如不确定,请联系设备管理员确认。

01 · 准备设备与模型 ​

设备与网络 ​

  • 推理执行设备:Lumos Station Lite 或 Lumos MOS 2。
  • 边侧主机:Ubuntu 22.04,并配备 NVIDIA 独立显卡。显卡要求与模型和推理配置有关;部署前请联系交付人员确认兼容性和显存需求。
  • 网络:推理执行设备与边侧主机需按部署方案接入可互通的网络。

在 Ubuntu 终端检查 GPU 驱动:

bash
nvidia-smi

从 NexCore 获取模型 ​

  1. 登录项目提供的 NexCore 环境,打开模型管理并进入目标模型详情。
  2. 获取模型下载地址或对象存储地址。模型访问权限由平台管理员配置;请勿公开分享带权限的下载地址。
  3. 按现场网络条件使用获批的下载方式,将模型文件下载到本地,再传到边侧主机。
  4. 将模型权重解压到 Policy 安装目录下的 nexinf/vla/weights/,并保留训练导出的完整目录结构。

例如,模型名为 my_act 时,目录结构类似:

text
nexinf/vla/weights/my_act/
└── 010000_ckpt/
    └── pretrained_model/
        ├── config.json
        ├── model.safetensors
        ├── robot_contract.json
        └── train_config.json

模型管理页面可能列出多个训练 step 的 checkpoint。先查看模型详情,再按部署要求选择版本。

模型权重目录中的 checkpoint 示例

02 · 安装 Policy 与运行依赖 ​

收到 Policy / ACT 安装包后,将压缩包放到边侧主机用户主目录并解压。以下以 nexinf-policy-act.zip 为示例文件名,实际名称以领取的安装包为准:

bash
unzip ~/nexinf-policy-act.zip -d ~/nexinf-policy-act
cd ~/nexinf-policy-act/nexinf-policy-act

安装器会创建独立的 Python 3.11 环境,并安装 Policy、ACT wheel 和运行依赖。

配置模型路径与机器人类型 ​

编辑配置文件:

text
~/nexinf-policy-act/nexinf-policy-act/nexinf/policy/config/config.toml

以下以 ACT 模型为例,按目标设备和 checkpoint 修改:

toml
[policy]
adapter = "act"

[policy.model]
checkpoint = "../../vla/weights/my_act/010000_ckpt"
state_dim = 16         # Station 示例;MOS 使用 22
action_dim = 14        # Station 示例;MOS 使用 20
robot_type = "station" # ACT 可从 checkpoint 识别;其他 Adapter 使用 station 或 mos
  • checkpoint 相对于当前 TOML 文件所在目录解析。
  • 指定 checkpoint 目录时加载对应 step;若当前版本支持,也可指向模型目录并自动选择编号最大的 step。请先核对目录命名和版本说明。
  • state_dim、action_dim 和 robot_type 必须匹配目标机器人及 checkpoint 契约。

默认通信配置示例:

toml
[runtime]
obs_bind = "0.0.0.0"
obs_port = 7030
action_bind = "0.0.0.0"
action_port = 7031

[policy.execution]
mode = "async"       # async:异步;sync:同步
inference_hz = 3.0    # 异步推理请求频率上限

请依据实际部署拓扑设置监听地址。若 Policy 与 NexInf 通过同一主机的回环网络连接,可按“配置并启动推理”一节设置;组件位于不同设备时,应使用双方可达的地址。

安装并检查 ​

bash
./install.sh
source ./nexinf/activate.sh

首次安装可能需要下载 PyTorch CUDA 等依赖,请预留网络和磁盘空间。激活后可检查 CLI:

bash
policy --help
policy --version
policy list
policy config --path
policy config
policy check

03 · 安装 NexInf 客户端 ​

联系相关人员领取与设备、Policy 版本匹配的 NexInf 客户端压缩包及 wheel。将压缩包复制到边侧主机并解压;以下以 nexinf-cloud-wheel.zip 为示例文件名:

bash
unzip ~/nexinf-cloud-wheel.zip

确认网络并配置客户端 ​

从边侧主机检查机器人当前 IP:

bash
ping <robot_ip>

如需 SSH 登录,请使用现场分配的用户名和设备地址:

bash
ssh <username>@<robot_ip>

编辑 NexInf 配置文件。实际路径以解压后的客户端目录为准,例如:

text
~/nexinf-cloud-wheel/nexinf/nexinf/nexinf/config/config.toml

按设备类型和机器人地址修改:

toml
[basic]
robot_type = "mos" # mos 或 station-lite

[network]
robot_ip = "<robot_ip>" # 替换为机器人当前局域网 IPv4 地址

在客户端目录执行安装脚本,将运行环境部署到机器人本体:

bash
./nexinf-cloud-wheel/install.sh

等待脚本报告部署完成后再继续。

04 · 配置并启动推理 ​

开始前确认 Policy 已安装、模型权重路径正确、NexInf 已部署到目标机器人,并且机器人地址与现场网络配置一致。

配置通信地址 ​

**Policy 配置:**编辑 Policy 配置文件。

bash
nano ~/nexinf-policy-act/nexinf-policy-act/nexinf/policy/config/config.toml

若 Policy 与 NexInf 按同一主机的回环网络连接,可使用:

toml
[runtime]
obs_bind = "127.0.0.1"
obs_port = 7030
action_bind = "127.0.0.1"
action_port = 7031

**NexInf 配置:**编辑 NexInf 配置文件。

bash
nano ~/nexinf-cloud-wheel/nexinf/nexinf/nexinf/config/config.toml

同一主机回环连接的部署方式下,检查以下配置:

toml
[frp]
enable = false

[frp.policy]
service_address = "127.0.0.1"
observation_port = 7030
action_port = 7031

若 Policy 与 NexInf 不在同一主机,应按部署拓扑配置双方可访问的地址,并确认网络策略允许所需端口通信。

启动服务 ​

**启动 Policy:**每次新开终端,先激活 Policy 环境:

bash
cd ~/nexinf-policy-act
source ./nexinf/activate.sh

检查通过后启动:

bash
policy run

确认日志中的机器人类型、维度、mapping 和 checkpoint 符合预期。NexInf 连接后,应能看到观测和动作通道的连接状态。按 Ctrl+C 停止服务。

**启动 NexInf:**在另一终端激活 NexInf 环境:

bash
cd ~/nexinf-cloud-wheel/nexinf-cloud-wheel
source ./nexinf/activate.sh

启动中间服务,再启动 Policy 通道:

bash
midserver run
nexinf run --policy

Station Lite 的中间服务可按设备交付方案设置开机启动;MOS 部署可能需要先在设备端手动解锁并启动中间服务。按 Ctrl+C 停止前台服务。

05 · 真机推理效果 ​

Station Lite

MOS

06 · 验收与故障排查 ​

真机推理前,请逐项确认:

  • nvidia-smi 能识别 GPU,驱动和 CUDA 依赖符合交付要求。
  • Policy 检查通过,配置指向正确的 checkpoint。
  • robot_type、状态维度和动作维度与机器人及模型匹配。
  • 边侧主机能够连接机器人,robot_ip 为当前有效地址。
  • Policy 与 NexInf 的观测和动作端口配置一致,日志显示通道已连接。
  • 按现场安全流程执行,并确保操作人员可以随时停止推理。

若连接失败,核对设备 IP、网络连通性、端口和绑定地址;若模型加载失败,核对 checkpoint 路径、目录结构、机器人类型和维度配置。版本或配置不匹配时,请联系设备交付人员获取对应说明。

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册