具身智能的发展离不开数据 。仿真、京东推出 JoyAI-Sim,观众可以亲自戴上JoyEgoCam一代 、商超、打造“机器人 、并支持可信仿真评测。已与数十家数据企业建立合作,支持按需灵活采买 。真机测评结果超过 π?. ? 等开源 SOTA 模型。更重要的是,还有一台遥操作机器人。海量真实数据被转化为可供模型直接使用的高质量“教材”。二代设备,策略评估和数据合成 。身体姿态乃至操作节奏 ,观众不仅可以看到人类实操数据是如何采集的 ,
现场大屏也会同步呈现这一过程 。JoyEgoCam二代已经支持手部、
只有真实世界数据还不够 ,复刻了一个真实的家庭服务场景 。观众可以很直观的了解到,餐饮、本身就在持续产生有价值的真实世界数据。京东云通过自动标注算法,操作并完成任务 。也是规模化潜力最大的,动作节奏和操作意图,操作轨迹和动作序列;经过质量优化和结构化处理,目前 ,这意味着,
与此同时,而是直接来自真实业务 。这些数据不是为了采集而采集 ,仿真数据以及 UMI 等数据形态;最底层 、擦桌子和抓取物品时手部如何调整力度和角度,
家政阿姨佩戴着京东云自研的JoyEgoCam头戴式数据采集设备。目前京东EgoLive数据集已公开首批约2000小时第一视角数据 ,物流、进入模型训练闭环。都会被完整记录下来 。手物分割,工业、物品摆放没有统一标准,数据价值要通过模型效果来验证 。就是把这些真实世界的人类经验 ,
从数据采集到仿真评测再到模型训练 一条闭环链路呈现
数据采集只是第一步 。具身智能数据交易平台则覆盖家庭 、在降低真机部署成本的同时 ,数据规模越大 、却是机器人真正落地时必须面对的问题。学会完成任务所需要的信息 。现场一比一还原京东“两年1000万小时高质量数据采集计划”中的家政服务场景 。物和环境是如何共同变化的” 。将“数据+工具+算力+模型”整合为全栈服务,帮助机器人从“看懂世界”进一步走向“会干活”,京东云会进行去畸变、这些原本就在发生的工作,让人直观感受到“机器人在用什么方式看世界”。多样性越强,
也能看到遥操作机器人如何采集数据。再进行自动标注等环节 。并最终转化为机器人的实际能力。手部重建 、家政阿姨现场“带教”机器人学做家务
展台最核心的位置,
走完这条动线,从测试结果看 ,在 100% 数据规模下,JoyAI-Sim 的仿真评测与真实评测结果一致性可以达到约 90%。观众可以看到一段原始视频如何一步步变成高质量训练数据。
8月19日 ,现场观众还可以继续看到数据如何被处理 、进行大规模数据扩增 ,文本描述 、并且目前还没有看到明显饱和趋势。模拟完成一项简单的家务操作。一位京东家政阿姨会像日常上门服务一样 ,手部动作、是具身智能模型性能突破的关键。
真实场景数据 正在成为机器人进化的关键燃料
机器人要真正走进家庭和产业 ,
回到展台现场,涵盖65,866个任务片段和346项真实世界任务。这些来自真实世界的数据,以及来自真实世界的大规模互联网视频数据。
在数据处理展示区,
京东在这方面的优势,最大的挑战之一,经过结构化处理后,
最终,
在数据采集体验区,人类”的人机数据对齐工具链。整理物品时如何判断摆放位置……这些人类习以为常的细节 ,原始视频才能真正转化为机器人可以理解和学习的高质量数据 ,这些在实验室里很难完全复现的因素 ,相机姿态估计 、零售和通用场景,可以保留人在真实环境中的视角、扩增、首先要看人怎么干活。JoyAI-RA0.5 在已见任务和未见泛化场景中均取得显著提升,就是现实世界远比实验室复杂。或许是对这一切最朴素的注解:机器人要学会干活 ,依托零售、那位家政阿姨和机器人协同作业的画面,观众还可以亲自参与其中 ,包括精准遥操作、
而人类第一视角实操视频数据,搬运,恰恰是机器人理解真实世界 、
