NexCore 边侧模型部署与推理 SOP
本文介绍从模型准备到真机推理的部署流程。具体操作以已交付的设备、模型版本和安装包说明为准。
开始前确认
Policy / ACT 安装包、NexInf 客户端及配套 wheel 请联系相关人员领取。不同交付版本的目录结构和依赖可能不同,请使用与当前设备和模型匹配的安装包。本文中的设备 IP、用户名、目录和模型名称均为示例或需按现场环境替换;如不确定,请联系设备管理员确认。
01 · 准备设备与模型
设备与网络
- 推理执行设备:Lumos Station Lite 或 Lumos MOS 2。
- 边侧主机:Ubuntu 22.04,并配备 NVIDIA 独立显卡。显卡要求与模型和推理配置有关;部署前请联系交付人员确认兼容性和显存需求。
- 网络:推理执行设备与边侧主机需按部署方案接入可互通的网络。
在 Ubuntu 终端检查 GPU 驱动:
nvidia-smi从 NexCore 获取模型
- 登录项目提供的 NexCore 环境,打开模型管理并进入目标模型详情。
- 获取模型下载地址或对象存储地址。模型访问权限由平台管理员配置;请勿公开分享带权限的下载地址。
- 按现场网络条件使用获批的下载方式,将模型文件下载到本地,再传到边侧主机。
- 将模型权重解压到 Policy 安装目录下的
nexinf/vla/weights/,并保留训练导出的完整目录结构。
例如,模型名为 my_act 时,目录结构类似:
nexinf/vla/weights/my_act/
└── 010000_ckpt/
└── pretrained_model/
├── config.json
├── model.safetensors
├── robot_contract.json
└── train_config.json模型管理页面可能列出多个训练 step 的 checkpoint。先查看模型详情,再按部署要求选择版本。

02 · 安装 Policy 与运行依赖
收到 Policy / ACT 安装包后,将压缩包放到边侧主机用户主目录并解压。以下以 nexinf-policy-act.zip 为示例文件名,实际名称以领取的安装包为准:
unzip ~/nexinf-policy-act.zip -d ~/nexinf-policy-act
cd ~/nexinf-policy-act/nexinf-policy-act安装器会创建独立的 Python 3.11 环境,并安装 Policy、ACT wheel 和运行依赖。
配置模型路径与机器人类型
编辑配置文件:
~/nexinf-policy-act/nexinf-policy-act/nexinf/policy/config/config.toml以下以 ACT 模型为例,按目标设备和 checkpoint 修改:
[policy]
adapter = "act"
[policy.model]
checkpoint = "../../vla/weights/my_act/010000_ckpt"
state_dim = 16 # Station 示例;MOS 使用 22
action_dim = 14 # Station 示例;MOS 使用 20
robot_type = "station" # ACT 可从 checkpoint 识别;其他 Adapter 使用 station 或 moscheckpoint相对于当前 TOML 文件所在目录解析。- 指定 checkpoint 目录时加载对应 step;若当前版本支持,也可指向模型目录并自动选择编号最大的 step。请先核对目录命名和版本说明。
state_dim、action_dim和robot_type必须匹配目标机器人及 checkpoint 契约。
默认通信配置示例:
[runtime]
obs_bind = "0.0.0.0"
obs_port = 7030
action_bind = "0.0.0.0"
action_port = 7031
[policy.execution]
mode = "async" # async:异步;sync:同步
inference_hz = 3.0 # 异步推理请求频率上限请依据实际部署拓扑设置监听地址。若 Policy 与 NexInf 通过同一主机的回环网络连接,可按“配置并启动推理”一节设置;组件位于不同设备时,应使用双方可达的地址。
安装并检查
./install.sh
source ./nexinf/activate.sh首次安装可能需要下载 PyTorch CUDA 等依赖,请预留网络和磁盘空间。激活后可检查 CLI:
policy --help
policy --version
policy list
policy config --path
policy config
policy check03 · 安装 NexInf 客户端
联系相关人员领取与设备、Policy 版本匹配的 NexInf 客户端压缩包及 wheel。将压缩包复制到边侧主机并解压;以下以 nexinf-cloud-wheel.zip 为示例文件名:
unzip ~/nexinf-cloud-wheel.zip确认网络并配置客户端
从边侧主机检查机器人当前 IP:
ping <robot_ip>如需 SSH 登录,请使用现场分配的用户名和设备地址:
ssh <username>@<robot_ip>编辑 NexInf 配置文件。实际路径以解压后的客户端目录为准,例如:
~/nexinf-cloud-wheel/nexinf/nexinf/nexinf/config/config.toml按设备类型和机器人地址修改:
[basic]
robot_type = "mos" # mos 或 station-lite
[network]
robot_ip = "<robot_ip>" # 替换为机器人当前局域网 IPv4 地址在客户端目录执行安装脚本,将运行环境部署到机器人本体:
./nexinf-cloud-wheel/install.sh等待脚本报告部署完成后再继续。
04 · 配置并启动推理
开始前确认 Policy 已安装、模型权重路径正确、NexInf 已部署到目标机器人,并且机器人地址与现场网络配置一致。
配置通信地址
**Policy 配置:**编辑 Policy 配置文件。
nano ~/nexinf-policy-act/nexinf-policy-act/nexinf/policy/config/config.toml若 Policy 与 NexInf 按同一主机的回环网络连接,可使用:
[runtime]
obs_bind = "127.0.0.1"
obs_port = 7030
action_bind = "127.0.0.1"
action_port = 7031**NexInf 配置:**编辑 NexInf 配置文件。
nano ~/nexinf-cloud-wheel/nexinf/nexinf/nexinf/config/config.toml同一主机回环连接的部署方式下,检查以下配置:
[frp]
enable = false
[frp.policy]
service_address = "127.0.0.1"
observation_port = 7030
action_port = 7031若 Policy 与 NexInf 不在同一主机,应按部署拓扑配置双方可访问的地址,并确认网络策略允许所需端口通信。
启动服务
**启动 Policy:**每次新开终端,先激活 Policy 环境:
cd ~/nexinf-policy-act
source ./nexinf/activate.sh检查通过后启动:
policy run确认日志中的机器人类型、维度、mapping 和 checkpoint 符合预期。NexInf 连接后,应能看到观测和动作通道的连接状态。按 Ctrl+C 停止服务。
**启动 NexInf:**在另一终端激活 NexInf 环境:
cd ~/nexinf-cloud-wheel/nexinf-cloud-wheel
source ./nexinf/activate.sh启动中间服务,再启动 Policy 通道:
midserver run
nexinf run --policyStation Lite 的中间服务可按设备交付方案设置开机启动;MOS 部署可能需要先在设备端手动解锁并启动中间服务。按 Ctrl+C 停止前台服务。
05 · 真机推理效果
Station Lite
MOS
06 · 验收与故障排查
真机推理前,请逐项确认:
nvidia-smi能识别 GPU,驱动和 CUDA 依赖符合交付要求。- Policy 检查通过,配置指向正确的 checkpoint。
robot_type、状态维度和动作维度与机器人及模型匹配。- 边侧主机能够连接机器人,
robot_ip为当前有效地址。 - Policy 与 NexInf 的观测和动作端口配置一致,日志显示通道已连接。
- 按现场安全流程执行,并确保操作人员可以随时停止推理。
若连接失败,核对设备 IP、网络连通性、端口和绑定地址;若模型加载失败,核对 checkpoint 路径、目录结构、机器人类型和维度配置。版本或配置不匹配时,请联系设备交付人员获取对应说明。

