LUMOS NexUMI使用手册(*V5客供版)
前言
文档信息
| 项目 | 内容 |
|---|---|
| 现行文档版本 | V1.0 |
| 手持式产品 | LUMOS NexUMI 手持式双指数据采集设备 |
| 头戴式产品 | LUMOS Ego VUE 头戴式第一视角数据采集设备 |
| 文件说明 | 版本 | 负责人 | 日期 |
|---|---|---|---|
| 文档版本创建 | V1.0 | 肖中博 | 2026.11.12 |
安全须知
使用安全
- 本产品不具备防水能力,严禁将设备浸泡在水中,避免雨水、汗水、饮料等液体溅洒到设备镜头表面及接口处。
- 请在合适的环境温度(0 ℃~45 ℃)下使用本产品。
- 严禁自行拆装本设备,如因拆装导致设备故障或使用异常,本司不予负责。
- 本产品仅限用于数据采集设备,需认真阅读本手册后,方可使用
责任与限制
- 本产品不适用于 18 岁以下的用户。
- 请勿修改或改动设备。
- 使用本设备即表示您同意所有安全条款,并对其操作承担全部责任。
- 确保所有硬件和软件均已正确安装和配置。
- 未经授权不得禁用或更改安全措施。
- 遵守相关法律、标准和行业法规。
产品介绍
简介
LUMOS NexUMI 是一款面向具身智能(Embodied AI)模型训练的手持式、无本体多模态数据采集设备。
设备通过模拟人手操作的方式,采集真实环境下的物体交互数据,无需依赖实体机器人本体即可完成操作数据采集。
NexUMI 可与 Ego Vue 头戴式视觉采集设备组合使用,形成头部第一视角与双手操作视角相结合的多模态数据采集系统
产品清单与规格
产品清单
NexUMI
| 部件 | 图片 | 规格 | 数量 |
|---|---|---|---|
| 设备本体-L | ![]() | 本体 | *1 |
| 设备本体-R | ![]() | 本体 | *1 |
| 存储卡 | ![]() | 128GB (V5版本已内置) | *2 |
| 读卡器 | / | 5Gbps | *3 |
| usbhub | / | 10Gbps | *1 |
| 数据线 | / | USB数据线 | *1 |
| 绷带 | / | V5版本已安装 | *2 |
产品参数
见产品详情页
设备布局介绍
外观示意


部件介绍(左右手位置对称)


使用组合
无本体数据采集套件为头戴式第一视角采集设备(Ego VUE)和手持式数据采集设备(NexUMI L/R)组合使用,采集真实环境下的物体交互数据。

设备使用前,参考Ego VUE使用文档,进行设备连接,后继续进行NexUMI使用连接
使用前准备
(以下内容为NexUMI设备连接;Ego VUE的设备连接,跳转【对外】Ego Vue及管线平台使用说明-V1.3;)
开箱检查
- 打开产品包装,取出所有组件。
- 确认组件与装箱清单保持一致。
- 确保设备无可见损坏。
- 检查所有线缆完好无损。
- 确认电源连接正常。
- 检查 SD 卡功能正常。
TF卡安装
- 安装SD卡前,请保持设备断电状态;
- 按照卡槽标识方向插入SD卡,并按压至锁紧状态;

线束连接






佩戴参考图


产品请保持正确佩戴方式
- Ego VUE佩戴方式,可参考Ego VUE硬件连接说明。
- 如不需要移动电源,可将三设备同步连接到主机上。
指示灯说明
| 设备状态 | 指示状态 |
|---|---|
| 开机 | 红灯常亮 |
| 关机 | 指示灯熄灭 |
| 开始录制 | “滴”一声 |
| 结束录制 | “滴”“滴”两声 |
操作说明
确保Ego VUE +NexUMi 设备全部连接正确后,如图a、图b方式进行佩戴;依次确保
- 电源连接正常;
- 多设备通信正常;
- APP安装正常;
- 存储卡空间足够(不低于2GB);
- 固件版本 V1.0.60版本以上;
- APP版本 v1.1.0;
APP安装
目前仅支持安卓系统安装lumosApp,通过APK安装包形式安装;
APP安装包:(V1.1.0版本)
下载至手机后,文件夹—>安装应用程序—>对跳出信息全部授权(不同机型存在安装差异,如需帮助可联系对接人员协助)—>安装成功
桌面显示图标:

APP登录
客户使用账号,可联系对应的对接人员注册,开通账号使用;
Ego VUE +NexUMI 设备配网
操作路径
APP首页——我的——共享WiFi——输入网络名称“****”——输入WiFi密码“****”——选择设备类型Ego/UMI——扫描设备——选择对应设备SN码(SN码见设备底部)——连接设备
注意事项
- 连接网络(*V5版本仅限2.4G网络,请注意网络类型)
- 设备Ego/UMI对应的SN码在设备最底部条形码位置所示;
- 设备首次连接成功后,下一次可自动连接,无需二次重连;
操作图示



Ego VUE 选择设备类型为“Ego采集设备”
NexUMI 选择设备类型为“UMI采集设备”
请确保依次连接三台设备连接成功,并且显示三台设备全部在线;
EGO VUE和NexUMI的连接方式相同,NexUMI在连接过程中,可选择分配左手设备和右手设备;
设备底部的SN同步显示左右手设备,区分两边设备,依次连接;


三设备连接成功后,返回设备管理页面——检测网络。可以看到三台设备的网络通信情况如下所示



开始采集前,先进行标定
- V5版本:夹爪手动标定,仅针对任务开始第一次采集时需要进行归零标定,(后续v7版本可出厂标定省去此步骤);
- 标定前确保NexUMI设备通信成功;
- 相机出厂前已经标定完成;
开合角度标定步骤
a、手动把夹爪闭合;
b、长按底部按键5秒,(夹爪保持闭合状态),听到设备“滴”一声后,表示标定成功;
c、标定成功后可张开夹爪;
流程图


任务创建
设备连接完成后,夹爪准备工作完成后,可以创建采集任务,采集任务分两类,一类是NexCore平台创建“企业任务”,通过APP分发的形式,APP个人可直接领取任务,进行采集,获取奖励;另一类是个人任务创建,通过APP,创建个人任务,进行小批量数据采集。
V5版本,目前仅介绍个人任务创建:以任务“test lumos one为举例”
操作流程




开始采集
完成标定流程后,查看APP设备连接状态,即可以开始进入采集工作
开始采集有三种触发形式,可根据自己的实际使用场景,来选择合适的触发形式;三种形式互不干涉,效果相同;
设备授时
授时流程
V5版本目前采用手动授时、V7版本后续改成自动授时。




授时成功后,即可进入采集任务。
数据采集:
方式1:通过APP触发采集






方式二:通过夹爪开合三次控制采集开始/结束,APP结算页面不变;
- Umi可以通过“合-开-合-开-合”(三次合,2秒内,角度小于5度是合 大于20度是开) 来触发开始 结束录制,等效于手机app 点击 或者物理按键按压;
- NexUMI固件版本:V1.0.62版之后实现;
- APP版本:1.1.1之后实现;
- V5版本暂不描述;
方式三:通过夹爪上,单独的开始采集按键来控制
V7 版本的NexUMI可以通过夹爪上面的单独采集按键,控制采集任务的开始/结束;V5版本暂不描述;
数据上传
数据传输,通过离线传输的方式传输;需要拔出SD卡,通过读卡器,依次通过插件传输上NexCore平台;
数据上传至NexCore平台,可自动上传;
插件安装
通过工作人员,拿取插件,安装后,找对应人员开通账号


数据传输流程



原始数据采集位置,Ego VUE 与NexUMI L/R路径相同;







“date文件”——“采集日期文件:********”——“任务文件夹”——“数据文件夹”——“最终文件”
- 依次把①Ego VUE内存卡;②NexUMI—L内存卡;③NexUMI—R的内存卡;三者的存储卡通过读卡器存入空白文件夹(带上传数据文件夹);
- 上传平台不能,分开单独上传;必须同一文件,批量一次上传;
插件传输步骤



统一文件夹数据后,文件夹内信息显示如下


通过插件“lumos desktop tool test”上传数据








5.数据信息
NexUMI数据信息
- 视觉数据: 鱼眼相机视角。
- 空间轨迹数据: 设备空间运动轨迹相关数据。
- 力觉数据: 指尖压力阵列产生的触觉数据,以及六轴力传感器数据。
- 操作数据: 夹爪开合角度(Encoder)。
- 时间数据: 各数据流对应的时间戳。
Ego VUE数据信息
- 视觉数据:手部操作过程中的 RGB 图像。
- 手部点位轨迹信息
- 环境声音
APP版本说明
本文档基于APP版本:V1.1.0
固件版本:V1.0.60




