Skip to content

LUMOS NexUMI使用手册(*V5客供版) ​

前言 ​

文档信息

项目内容
现行文档版本V1.0
手持式产品LUMOS NexUMI 手持式双指数据采集设备
头戴式产品LUMOS Ego VUE 头戴式第一视角数据采集设备
文件说明版本负责人日期
文档版本创建V1.0肖中博2026.11.12

安全须知 ​

使用安全 ​

  • 本产品不具备防水能力,严禁将设备浸泡在水中,避免雨水、汗水、饮料等液体溅洒到设备镜头表面及接口处。
  • 请在合适的环境温度(0 ℃~45 ℃)下使用本产品。
  • 严禁自行拆装本设备,如因拆装导致设备故障或使用异常,本司不予负责。
  • 本产品仅限用于数据采集设备,需认真阅读本手册后,方可使用

责任与限制 ​

  • 本产品不适用于 18 岁以下的用户。
  • 请勿修改或改动设备。
  • 使用本设备即表示您同意所有安全条款,并对其操作承担全部责任。
  • 确保所有硬件和软件均已正确安装和配置。
  • 未经授权不得禁用或更改安全措施。
  • 遵守相关法律、标准和行业法规。

产品介绍 ​

简介 ​

LUMOS NexUMI 是一款面向具身智能(Embodied AI)模型训练的手持式、无本体多模态数据采集设备。

设备通过模拟人手操作的方式,采集真实环境下的物体交互数据,无需依赖实体机器人本体即可完成操作数据采集。

NexUMI 可与 Ego Vue 头戴式视觉采集设备组合使用,形成头部第一视角与双手操作视角相结合的多模态数据采集系统

产品清单与规格 ​

产品清单 ​

NexUMI

部件图片规格数量
设备本体-L设备本体-L本体*1
设备本体-R设备本体-R本体*1
存储卡存储卡128GB
(V5版本已内置)
*2
读卡器/5Gbps*3
usbhub/10Gbps*1
数据线/USB数据线*1
绷带/V5版本已安装*2

产品参数 ​

见产品详情页

设备布局介绍 ​

外观示意 ​

左手外观示意图
左手外观示意图(顶部紫色标记/底部L、R标识)
右手外观示意图
右手外观示意图(顶部绿色标记底部L、R标识)

部件介绍(左右手位置对称) ​

部件图-1
部件图-1
部件图-2
部件图-2

使用组合 ​

无本体数据采集套件为头戴式第一视角采集设备(Ego VUE)和手持式数据采集设备(NexUMI L/R)组合使用,采集真实环境下的物体交互数据。

Ego VUE 与 NexUMI L/R 组合

设备使用前,参考Ego VUE使用文档,进行设备连接,后继续进行NexUMI使用连接

【对外】Ego Vue及管线平台使用说明-V1.3

使用前准备 ​

(以下内容为NexUMI设备连接;Ego VUE的设备连接,跳转【对外】Ego Vue及管线平台使用说明-V1.3;)

开箱检查 ​

  • 打开产品包装,取出所有组件。
  • 确认组件与装箱清单保持一致。
  • 确保设备无可见损坏。
  • 检查所有线缆完好无损。
  • 确认电源连接正常。
  • 检查 SD 卡功能正常。

TF卡安装 ​

  • 安装SD卡前,请保持设备断电状态;
  • 按照卡槽标识方向插入SD卡,并按压至锁紧状态;
插入 SD 卡

线束连接 ​

插入存储卡
1)插入存储卡
连接电源线
2)连接电源线:插入Type C连接设备;USB口连接电源(充电宝或者主电脑主机);
NexUMI完整连接线束
3)NexUMI完整连接线束如图所示
移动电源放入背包
4)移动电源可放入背包
腰包佩戴
5)如需腰包可佩戴至腰部
NexUMI手部佩戴示意
6)NexUMI手部佩戴示意

佩戴参考图 ​

正面佩戴图片a
正面佩戴图片a
侧面佩戴图片b
侧面佩戴图片b

产品请保持正确佩戴方式

  • Ego VUE佩戴方式,可参考Ego VUE硬件连接说明。
  • 如不需要移动电源,可将三设备同步连接到主机上。

指示灯说明 ​

设备状态指示状态
开机红灯常亮
关机指示灯熄灭
开始录制“滴”一声
结束录制“滴”“滴”两声

操作说明 ​

确保Ego VUE +NexUMi 设备全部连接正确后,如图a、图b方式进行佩戴;依次确保

  • 电源连接正常;
  • 多设备通信正常;
  • APP安装正常;
  • 存储卡空间足够(不低于2GB);
  • 固件版本 V1.0.60版本以上;
  • APP版本 v1.1.0;

APP安装 ​

目前仅支持安卓系统安装lumosApp,通过APK安装包形式安装;

APP安装包:(V1.1.0版本)

APKLumos_umi_v1.1.0-beta.2_2026111012_qa.apk请联系对接人员获取

下载至手机后,文件夹—>安装应用程序—>对跳出信息全部授权(不同机型存在安装差异,如需帮助可联系对接人员协助)—>安装成功

桌面显示图标:

桌面显示图标

APP登录 ​

客户使用账号,可联系对应的对接人员注册,开通账号使用;

Ego VUE +NexUMI 设备配网 ​

操作路径 ​

APP首页——我的——共享WiFi——输入网络名称“****”——输入WiFi密码“****”——选择设备类型Ego/UMI——扫描设备——选择对应设备SN码(SN码见设备底部)——连接设备

注意事项

  • 连接网络(*V5版本仅限2.4G网络,请注意网络类型)
  • 设备Ego/UMI对应的SN码在设备最底部条形码位置所示;
  • 设备首次连接成功后,下一次可自动连接,无需二次重连;

操作图示 ​

依次顺序点击
a、依次顺序点击
点击设备连接后等待3秒
b、点击设备连接后等待3秒
连接成功
c、连接成功,显示“设备已联网+Ip地址信息**.***.**”

Ego VUE 选择设备类型为“Ego采集设备”

NexUMI 选择设备类型为“UMI采集设备”

请确保依次连接三台设备连接成功,并且显示三台设备全部在线;

EGO VUE和NexUMI的连接方式相同,NexUMI在连接过程中,可选择分配左手设备和右手设备;

设备底部的SN同步显示左右手设备,区分两边设备,依次连接;

左手NexUMI连接
左手NexUMI连接
右手NexUMI连接
右手NexUMI连接

三设备连接成功后,返回设备管理页面——检测网络。可以看到三台设备的网络通信情况如下所示

管理页面——检测网络
管理页面——检测网络,等待2秒
网络通信成功
可以看到灰色页面全部点亮绿色,网络通信成功
多设备相机画面预览
进入首页——预览;可以看见多设备相机画面;

开始采集前,先进行标定 ​

  • V5版本:夹爪手动标定,仅针对任务开始第一次采集时需要进行归零标定,(后续v7版本可出厂标定省去此步骤);
  • 标定前确保NexUMI设备通信成功;
  • 相机出厂前已经标定完成;

开合角度标定步骤 ​

a、手动把夹爪闭合;

b、长按底部按键5秒,(夹爪保持闭合状态),听到设备“滴”一声后,表示标定成功;

c、标定成功后可张开夹爪;

流程图 ​

保持夹爪闭合状态
保持夹爪闭合状态
长按背后按钮5秒钟
长按背后按钮5秒钟,听见“滴”响声,表示标定成功

任务创建 ​

设备连接完成后,夹爪准备工作完成后,可以创建采集任务,采集任务分两类,一类是NexCore平台创建“企业任务”,通过APP分发的形式,APP个人可直接领取任务,进行采集,获取奖励;另一类是个人任务创建,通过APP,创建个人任务,进行小批量数据采集。

V5版本,目前仅介绍个人任务创建:以任务“test lumos one为举例”

操作流程 ​

创建个人任务
创建名称、英文名称、场景、数量
b、创建名称、英文名称、场景、数量
创建成功
c、创建成功
进入采集页面
d、点击创建的任务,进入采集页面

开始采集 ​

完成标定流程后,查看APP设备连接状态,即可以开始进入采集工作

开始采集有三种触发形式,可根据自己的实际使用场景,来选择合适的触发形式;三种形式互不干涉,效果相同;

设备授时 ​

授时流程 ​

V5版本目前采用手动授时、V7版本后续改成自动授时。

开始授时
等待授时
b、等待授时
授时中
c、授时中
授时成功
d、授时成功、可进入录制页面

授时成功后,即可进入采集任务。

数据采集: ​

方式1:通过APP触发采集 ​

开始录制
a、确认产品状态后,开始录制
设备自检
b、设备进入自检状态,成功后自动采集,设备播报:“Ego:录制开始”“NexUMI:滴~一声”
停止录制
c、采集完成后;点击“停止录制”、停止采集;
结算页面
d、结束采集后,自动进入结算页面,结果自动保存,数据存储设备本地SD卡;
上报数据采集状态
e、数据录制后,会上报数据采集状态至NexCore平台;
采集下一条
f、数据结算完成后,可以开始采集下一条采集数据

方式二:通过夹爪开合三次控制采集开始/结束,APP结算页面不变; ​

  • Umi可以通过“合-开-合-开-合”(三次合,2秒内,角度小于5度是合 大于20度是开) 来触发开始 结束录制,等效于手机app 点击 或者物理按键按压;
  • NexUMI固件版本:V1.0.62版之后实现;
  • APP版本:1.1.1之后实现;
  • V5版本暂不描述;

方式三:通过夹爪上,单独的开始采集按键来控制 ​

V7 版本的NexUMI可以通过夹爪上面的单独采集按键,控制采集任务的开始/结束;V5版本暂不描述;

数据上传 ​

数据传输,通过离线传输的方式传输;需要拔出SD卡,通过读卡器,依次通过插件传输上NexCore平台;

数据上传至NexCore平台,可自动上传;

插件安装 ​

通过工作人员,拿取插件,安装后,找对应人员开通账号

EXELumos Desktop Tool Test_1.0.11_x64-setup.exe请联系对接人员获取
Lumos Desktop Tool Test 图标
Lumos Desktop Tool Test 登录

数据传输流程 ​

拔出SD卡,准备读卡器
a、从设备拔出SD卡,准备读卡器;
存储卡接入读卡器
b、存储卡,接入读卡器后;
读卡器接入电脑
c、读卡器接入电脑;

原始数据采集位置,Ego VUE 与NexUMI L/R路径相同; ​

原始数据位置 1
原始数据位置 2
原始数据位置 3
原始数据位置 4
原始数据位置 5
原始数据位置 6
原始数据位置 7

“date文件”——“采集日期文件:********”——“任务文件夹”——“数据文件夹”——“最终文件”

  • 依次把①Ego VUE内存卡;②NexUMI—L内存卡;③NexUMI—R的内存卡;三者的存储卡通过读卡器存入空白文件夹(带上传数据文件夹);
  • 上传平台不能,分开单独上传;必须同一文件,批量一次上传;

插件传输步骤 ​

Ego VUE复制到待上传文件夹
a、Ego VUE复制到待上传文件夹
NexUMI复制到待上传文件夹
b、NexUMI复制到待上传文件夹
Ego+UMI数据统一文件夹内
c、Ego+UMI数据统一文件夹内

统一文件夹数据后,文件夹内信息显示如下

统一文件夹内信息 1
统一文件夹内信息 2

通过插件“lumos desktop tool test”上传数据

联系工作人员,开放登录账号
a、联系工作人员,开放登录账号;
进入首页
b、进入首页
多设备上传——点击文件夹
c、多设备上传——点击文件夹
选择合并的数据文件夹,点击上传
d、选择之前合并的数据文件夹,点击上传;
点击扫描并质检
e、选择数据后,点击扫描并质检;
选中需要上传的文件夹
f、选中需要上传的文件夹
查看传输进度
g、上传后,在上传任务中,查看传输进度;
上传NexCore平台成功
h、上传NexCore平台成功;

5.数据信息 ​

NexUMI数据信息

  • 视觉数据: 鱼眼相机视角。
  • 空间轨迹数据: 设备空间运动轨迹相关数据。
  • 力觉数据: 指尖压力阵列产生的触觉数据,以及六轴力传感器数据。
  • 操作数据: 夹爪开合角度(Encoder)。
  • 时间数据: 各数据流对应的时间戳。

Ego VUE数据信息

  • 视觉数据:手部操作过程中的 RGB 图像。
  • 手部点位轨迹信息
  • 环境声音

APP版本说明

本文档基于APP版本:V1.1.0

固件版本:V1.0.60

产品快速迭代中,表现效果以最新版本为准NexCore Docs · 鹿明机器人具身智能技能学习平台使用手册