开yun体育网DemoGrasp 通过视觉效法学习-开云官网登录入口 开云KaiyunApp官网入口

发布日期：2026-09-22 23:26    点击次数：141

在贤慧手通用抓取的辩论中，由于行动空间维度高、任务具有长程探索特征且触及各类化物体，传统强化学习（RL）濒临探索着力低、奖励函数及锤真金不怕火过程贪图复杂等挑战。

基于此，北京大学及 BeingBeyond 团队提议DemoGrasp框架——

一种苟简且高效的通用贤慧手抓取学习设施。

该设施以一次成功的抓取演示轨迹为滥觞，通过对轨迹中的机器东谈主行动进行裁剪，以稳当不同物体与姿态：篡改腕部位姿用于确定"抓取位置"，诊治手指重要角度用于确定"抓取面容"。

这一中枢翻新——将通达方案的多步 MDP（马尔可夫方案过程）重构为基于轨迹裁剪的"单步 MDP "——有用提高了强化学习在抓取任务上的学习着力和迁徙到真机的性能。

中枢贪图：单条演示 + 单步 RL 从"多步探索"到"全局裁剪"

传统 RL 的窘境：高维行动空间的复杂探索

行动空间：每一步都需要输出高摆脱度机器东谈主所计议节的提醒。

奖励贪图：需要贪图极其复杂的密集奖励函数，引导机器东谈主灭绝碰撞、构兵物体、成功抓取、平滑提醒等。

课程学习：需要贪图复杂的多阶段学习进程，匡助 RL 探索

DemoGrasp 的中枢翻新在于用 "单条成功演示轨迹" 替代 "从零滥觞的探索"，将高维抓取任务飘浮为 "演示裁剪任务"，再通过单步 RL 优化裁剪参数，最终诱骗视觉效法学习收尾虚实迁徙。

单条演示和轨迹裁剪

一条抓取特定物体的成功轨迹包含了抓取任务通用的模式（如 "纠合物体→闭捏指→抬起手腕"），只需诊治轨迹中的手腕和手指抓取面容，即可适配没见过的新物体。

DemoGrasp 只需要对一个物体（比如一个方块）采集一条成功抓取演示轨迹，即可通过物体中心的轨迹裁剪作念出新物体、新位置的抓取举止：

手腕位姿裁剪：在物体坐标系下，对原始轨迹中的每一个手腕位点施加一个息争的变换 T ∈ SE ( 3 ) ，通过无邪地诊治手腕抓取标的和位置，稳当不同大小、局面、适合抓取点的物体。

手指重要裁剪：敌手指的抓取重要角施加一个增量 Δ q_G，通过与演示轨迹的等比例插值，产生一条贤慧手从运转伸开姿态平滑到达新的抓取姿态的行动轨迹。

单步强化学习

在仿真环境中，DemoGrasp 期骗 IsaacGym 创建了数千个并行宇宙，每个宇宙里都有不同的物体和摆放场景。

学习过程：每一个仿真宇宙中，政策汇集左证运转的不雅测（终局位姿和物体点云、位姿） 输出一组手腕和手指裁剪参数，推行裁剪后的轨迹，左证推行过程是否"抓取成功"和"发生碰撞"得回奖励。

通过海量试错和在线强化学习，政策学会左证不同局面物体的不雅测输出适合的裁剪参数。

锤真金不怕火着力：在这个紧凑行动空间的单步 MDP 问题上，DemoGrasp 使用单张 RTX 4090 显卡锤真金不怕火 24 小时即可敛迹到>90% 的成功率。

视觉蒸馏，虚实迁徙

仿真中的强化学习政策依赖精准的物体点云和位姿，这在现实中难以获取。DemoGrasp 通过视觉效法学习，将政策蒸馏成与真机对王人的 RGB 政策，收尾从仿真到真机的顺利迁徙。

数据网罗：在仿真中运行强化学习政策，记载下上万条成功轨迹：包括渲染的相机 RGB 图像、每一期间的机器东谈主践诺感知和重要角行动。

模子锤真金不怕火：摄取流匹配（Flow-Matching）生成模子的设施，学习从图像不雅测和机器东谈主践诺感知展望行动。为松开仿真到真机的视觉图像相反，锤真金不怕火还使用了预锤真金不怕火的 ViT 索要图像特征，并在仿真数据网罗时充分地进行域赶紧化（赶紧化光照、布景、物体情愫纹理、相机参数等）。

多模态适配：DemoGrasp 适配单目 / 双目、RGB/ 深度相机等多种相机不雅测。实验标明，双目 RGB 相机组合的着力最好，不详更好地减少讳饰、期骗纹理和综合等信息成功抓取小而薄的物体。

实验戒指：仿真和真机双优，全面提高贤慧抓取的泛化性和膨胀性

DexGraspNet 是贤慧抓取规模的巨擘数据集（3.4K 物体）。

DemoGrasp 在该数据集上使用 Shadow Hand 抓取，性能显贵优于现存设施：视觉政策成功率达到 92%，锤真金不怕火集到测试集的泛化差距仅 1%，且稳当大畛域的物体运转位置赶紧化（50cm × 50cm）、具备更强的空间泛化才气。

跨践诺膨胀：适配淘气贤慧手和机械臂践诺

DemoGrasp 无需诊治任何锤真金不怕火超参数，成功适配 6 种不同形状的机器东谈主（五指、四指贤慧手，三指夹爪和平行夹爪），在 175 个物体上锤真金不怕火后，在多个未见过的物体数据集上达到 84.6% 的平均成功率。

高性能的虚实迁徙

在真确机器东谈主测试中，使用 Franka 机械臂和因时贤慧手，DemoGrasp 成功抓取了 110 个未见过的物体。

在惯例大小的物体分类上，DemoGrasp 成功率均达到 90% 以上；

关于扁平物体（手机壳、剪刀等）和小物体（瓶盖、小黄鸭等）的费事抓取任务，政策不详准确地抓取物体、幸免碰撞，成功率达到 70%。

DemoGrasp 框架维持对真确场景愈加复杂的抓取任务的膨胀才气，维持 在缭乱多物体摆放的场景下收尾用讲话提醒引导抓取，且达到 84% 的真机单次抓取成功率。关于光照、布景和物体摆放的大幅变化，政策的成功率莫得显明下落。

DemoGrasp 是交融极少东谈主类演示收尾高效机器东谈主强化学习的新滥觞，将在改日维持功能性抓取、用具使用、双手操作等更多贤慧手任务。

锤真金不怕火时政策的闭环才气是现时设施的一个局限，后续辩论将通过愈加细粒度的演示轨迹拆分，加多强化学习政策的及时诊治、时弊收复才气。

此外，DemoGrasp 不错诱骗多模态大模子，收尾敞开场景下的自主抓取智能体。

神情主页：https://beingbeyond.github.io/DemoGrasp/

论文：https://arxiv.org/abs/2509.22149

一键三连「点赞」「转发」「戒备心」

宽宥在辩驳区留住你的念念法！

—  完  —

咱们正在招聘别称眼疾手快、顺心 AI 的学术裁剪实习生  � �

感兴味的小伙伴宽宥顺心 � �  了解确定

� � 点亮星标 � �

科技前沿施展逐日见开yun体育网