这项由香港大学HKU-MMLab与字节超过Seed团队荟萃开展的商议，以预印本风物于2026年6月26日发布在arXiv平台，论文编号为arXiv:2606.28133。有兴味深切了解的读者不错通过该编号在arXiv上查询无缺论文。
商议的中枢问题其实很逼近咱们的活命直观：既然东说念主类作念家务、整理厨房的视频随地可见，能不成让机器东说念主径直"看"这些视频来学习干活？这个想法听起来很诱东说念主，但已矣起来却藏着一个宏大的陷坑——商议团队花了多半元气心灵来找到这个陷坑，并想出了一个好意思妙的办法绕开它。
一、机器东说念主学徒的纷扰：为什么径直"抄"东说念主类动作行欠亨
先将心比心感受一下这个挑战。假定你是一个刚入职的厨房学徒，师父让你通过不雅看前辈切菜的视频来学习刀工。视频里的前辈用的是专科大刀，而你手边只好一把普通生果刀。即便你把前辈每一个手腕扭转的角度都记载下来，照着作念的时候也可能切得一团糟——因为刀具体式不同，适合大刀的握法和角度对生果刀来说王人备是另一趟事。
双臂机器东说念主和东说念主类之间的关系恰是如斯。机器东说念主的末端履行器是两个夹爪，就像两把平行的夹子；东说念主类的手则有五根手指，不错聪敏地捏、握、钩、绕。当咱们用电脑视觉时期从东说念主类操作视频中索求手腕的"姿态"——包括位置和朝向——再让机器东说念主照着作念时，问题就出现了：东说念主类手腕扭转一定角度是为了让五根手指配合着收拢物品，但机器东说念主的夹爪根柢不需要阿谁角度，强行效法只会让夹爪对着诞妄的标的夹空气。
更灾祸的是，从视频里索求东说念主类手腕的旋转角度自己就不准确。计较机视觉算法估算手腕朝向时会产生疏忽，就像用尺子量一个不停畏缩的物体，每次读数都略有不同。把这些带噪声的旋转数据喂给机器东说念主，末端即是机器东说念主作念迥殊怪的误解动作，王人备莫得收拢东说念主类操作的内容。
商议团队在实验中径直考证了这一丝：把从东说念主类视频索求的无缺六摆脱度腕部动作（位置加旋转）输入机器东说念主时，机器东说念主会作念出变形、偏离方针的奇怪姿势，根柢无法完成任务。
二、要津知悉：扔掉旋转，保留平移
商议团队在反复想及第收拢了一个要津事实：不管是东说念主类照旧机器东说念主，在操作物体时，手腕（或夹爪）需要出动到哪个位置，这件事是高度一致的。绽开微波炉门，手要先上前伸出去、围聚门把手；擦微波炉台面，手要从左往右横向出动。这种"手在空间中如何出动"的轨迹，对于东说念主类和机器东说念主来说内容上是一样的——都需要从A点出动到B点。
至于手到了阿谁位置之后，手腕应该朝哪个标的、指头应该若何转折，那才是东说念主类和机器东说念主信得过不一样的地点。
由此，商议团队冷漠了他们称之为"桥接动作"的暗示要领：只记载手腕（或夹爪）在三维空间中的平移轨迹，透顶丢掉旋转信息。具体来说，他们把手腕谢寰宇坐标系中的位置，投影到机器东说念主头部录像头所不雅察到的画面坐标系里，然跋文录手腕在接下来若干时辰步内，相对于现时位置的位移变化。
用更活命化的方法判辨：这就像用GPS导航只记载"从现时位置向北走50米，再向东走30米"，而不去管你步碾儿时两只脚的姿势或体格的朝向。导航存眷的仅仅你的轨迹，不存眷你的步态。通常，这个"桥接动作"只存眷手腕在空间中走了什么旅途，而不存眷手腕自身如何旋转。
这个蓄意有三个径直公正。其一，平移信息比旋转信息容易从视频中准确索求，噪声小得多。其二，平移轨迹对东说念主类和机器东说念主来说具有换取的物理含义——都是在描摹末端履行器在空间中的通顺道径。其三，不同夹持机构在换取任务中如实走相似的平移轨迹，这是动作内容的共性所在。
三、搭建"翻译桥梁"：让东说念主类数据和机器东说念主数据在解除个模子里共存
光有这个桥接动作的见地还不够。东说念主类的数据强横只好平移信息（因为旋转信息不可靠），而机器东说念主要本质通顺则需要无缺的六摆脱度教导（三个位置重量加三个旋转重量），还需要结果夹爪开合的突破信号。若何让一个和洽的模子同期处理这些开首不同、方法不同的数据，就成了第二个需要惩办的工程问题。
商议团队构建了一个基于大型视觉-讲话-动作模子的系统，其架构想路模仿自业内知名的π?模子。这个系统的职责方法不错用餐厅后厨的联结来判辨：有一个"大厨"肃穆判辨食材（视觉信息和讲话教导），把判辨末端传递给"炒锅师父"（动作生成模块），由后者本质输出具体的操作动作。
为了处理不同数据开首的动作方法各别，商议团队蓄意了一种"交错动作序列"的暗示方法。每个时辰步的动作被分红三段次第陈列：第一段是三维平移的桥接信息，第二段是无缺的六摆脱度末端履行器动作，第三段是夹爪开合信号。对于东说念主类数据，第二段和第三段可能缺失；对于机器东说念主数据，三段都存在。通过在详细力机制中缔造掩码（不错判辨为给某些内容贴上"请忽略"的标签），模子在处理不同开首数据时能够自动跳过缺失的部分，不会因为数据不无缺而出错。
这种蓄意的妙处在于，模子在学习东说念主类数据时专注于判辨三维平移轨迹所蕴含的操作意图，而在学习机器东说念主数据时则把这个意图与本质的机器东说念主结果教导关联起来。三维平移信息排在序列的最前边，是经过三想此后行的：当模子生成六摆脱度机器东说念主动作时，它不错"回头看"仍是生成的平移信息，哄骗从东说念主类数据中学到的通顺常识来指导机器东说念主动作的生成。
在老师机器东说念主数据时，商议团队还取舍了一个要津的数据增强战术：就地地在老师方针中加入平移信息，或者径直用平移信息替换六摆脱度信息算作老师方针。这个操作免强模子成就桥接动作和可履行机器东说念主动作之间的明确经营，就像反复练习将汉文翻译成英文，身手在需要时舒服地进行翻译。
四、三阶段老师：从海量东说念主类数据到精确机器东说念主手段
整个老师经过分三个阶段鼓动，逻辑了了，像是一个从平淡到精确的学习旅途。
第一阶段是在大限制东说念主类动作数据上进行预老师。商议团队网罗了约600小时的东说念主类手部操作数据：其中约70小时来自公开的EgoDex数据集（一个专门收录第一东说念主称视角手部操作视频的数据集），约500小时是外包会聚的摆脱风物家务操作视频，还有约45小时是在实验室内用专科VR招引会聚的数据。这一阶段只老师模子展望三维平移的桥接动作，不触及任何机器东说念主结果教导。方针是让模子积聚丰富的操作常识：手在空间中如何通顺才算是在"绽开微波炉"，手在空间中如何通顺才算是在"擦桌子"。
第二阶段是东说念主类数据与机器东说念主数据的荟萃老师。商议团队加入了约72小时的通用机器东说念主抓取-摈弃操作数据（笼罩100多种物品）以及每个任务约3小时的任务专属实验室东说念主类操作数据。这一阶段三种亏本函数（平移、六摆脱度、夹爪）一起激活，模子脱手学习如何把操作意图改革为本质的机器东说念主结果信号。
第三阶段是少许机器东说念主数据的精调。商议团队为每个任务会聚了100条机器东说念主遥操作轨迹，但在精调时每个任务只使用其中10条，专门商议预老师对数据服从的普及后果。
五、实验：15个任务，真实机器东说念主，令东说念主敬佩的末端
商议团队在本质机器东说念主平台上进行了系统评测。使用的是ByteMini双臂出动操作机器东说念主，配备两条7摆脱度机械臂、两个平行夹爪，以及装配在头部和两个腕部的RGB-D录像头。评测任务涵盖15项不同难度的操作任务，按操作对象分为四组。
微波炉关系任务共6项，包括绽开和关闭微波炉门、从微波炉中取出碗和放入碗、以及从左到右和从右到左擦抹微波炉顶面。抽屉关系任务共2项：绽开和关闭抽屉。马克杯与杯子关系任务共4项：将左侧/右侧马克杯挂到杯架上，以及将左侧/右侧杯子叠放到另一个杯子上。其他任务共3项：将吸管插入杯中、从烤面包机取出吐司放到盘子里、以及拔出充电器。
每个任务在两种不同的场景叮嘱下各测试4次，统共8次考试。评分圭臬分两种：笔坦直（任务是否完成）和程度分（即便莫得王人备笔直，作念到哪一步了）。程度分的蓄意让评测愈加良好——哪怕机器东说念主莫得王人备绽开微波炉门，只消它笔直够到了门把手，也能赢得相应的分数。
末端率先考证了桥接动作的必要性。仅用通用抓取-摈弃机器东说念主数据老师的模子在15项任务上弘扬极差，合座程度分约为0.21，笔坦直更低。引入东说念主类数据并使用桥接动作荟萃老师后，合座程度分跃升至0.45，笔坦直达到0.22。在此基础上加入大限制东说念主类预老师（第一阶段），程度分进一步普及至0.60，笔坦直达到0.38。再加入每任务10条机器东说念主精调数据后，合座程度分达到0.72，笔坦直达到0.60。
与此同期，商议团队也径直对比了使用无缺六摆脱度东说念主类腕部动作（包含旋转）与只使用三维平移的桥接动作。在荟萃老师中，六摆脱度东说念主类动作对应的合座程度分仅有34.67%，笔坦直12.50%；而三维平移的桥接动作对应的合座程度分达到44.58%，笔坦直22.50%。定性不雅察通常了了：使用六摆脱度东说念主类动作时，机器东说念主频繁产生误解偏离的奇怪姿势；使用桥接动作时，机器东说念主的行径当然流通，末端履行器能准确指向操作方针。
六、深切接洽：预老师、数据服从与上界分析
商议团队还作念了几组补充实验，复兴了几个有价值的追问。
对于东说念主类预老师如何普及少许机器东说念主数据的哄骗服从：不经过东说念主类预老师径直用10条机器东说念主数据精调，合座程度分为53.79%，笔坦直35.83%；经过东说念主类预老师再精调，合座程度分普及至71.21%，笔坦直达到55.00%。也即是说，即便机器东说念主我方从来莫得"看过"不错本质履行的动作教导（预老师阶段只好平移信息），光是学习了多半东说念主类操作的平移轨迹，就仍是为后续快速旁边无缺机器东说念主手段打下了坚实基础。
对于老师亏本的分析：商议团队相比了有无东说念主类预老师时，荟萃老师阶段三种亏本函数（平移、六摆脱度、夹爪）的拘谨弧线。道理的是，尽管东说念主类预老师只优化了平移亏本，但从东说念主类预老师开动化的模子在荟萃老师时，六摆脱度和夹爪亏本都比从零脱手老师拘谨得更快、更低。这阐扬平出动作和六摆脱度动作在优化方针上具有自然的相似性——学好了平移，在学无缺动作时一本万利。
对于桥接动作自身的性能上界：商议团队作念了一个想想实验，把任务专属的机器东说念主遥操作数据（每任务100条）也调理成只包含平移信息的方法，用与东说念主类数据王人备换取的老师方法处理。这十分于排斥了视觉各别（机器东说念主有腕部录像头，数据更无缺）和动作噪声（机器东说念主数据比手势料到精确得多）。末端露出，这种"梦想情况"下合座程度分可达73.54%，笔坦直55.83%，显耀高于使用真实东说念主类数据的末端。这阐扬桥接动作自己算作常识迁徙的弁言是有用的，现时性能的瓶颈主要来自视觉各别和东说念主类动作数据的固有噪声，跟着会聚时期和视觉对王人要领的矫正，还有十分大的普及空间。
七、局限性与失败案例：敦厚靠近翻译的代价
商议团队莫得消逝这套要领的局限。最典型的失败案例出面前"将吸管插入杯中"和"绽开抽屉"这两个任务上。前者需要精确地收拢一根轻微的吸管，后者需要在不休把手后进行特定标的的腕部扭回身手成就有用的拉力。这两个任务的失败正值都指向解除个根源：旋转信息的缺失。
就像前边餐厅学徒的比方——记载旅途不错学会走到那里，但若是接下来需要作念一个精确的旋动掸作（比如拧开瓶盖），光靠旅途信息就不够了。商议团队在论断中也明确指出，在异日职责中引入少许可靠的旋转信息是一个有价值的标的，方针是在保持大限制东说念主类数据可用性的同期，补充那些如实需要旋转信息的操作手段。
此外，机器东说念主在荟萃老师后对拾取薄片状物体的身手有所下落，商议团队将此归因于视觉各别（东说念主类和机器东说念主看到的画面角度不同）以及东说念主类动作数据中不可幸免的噪声积聚。
说到底，这项商议作念的事情不错用一句话轮廓：找到了东说念主类操作常识和机器东说念主结果教导之间信得过共通的那一部分——手在空间中如何出动——并以此为桥梁，让海量低价的东说念主类操作视频信得过能够改革为机器东说念主的实用手段。这套要领不依赖华贵的机器东说念主演示数据，也不条件惩办手部旋转料到不准确的贫窭，而是干脆把那部分不可靠的信息丢掉，专注于可靠的、专门想的信息。
对于普通东说念主来说，这项商议意味着异日的家用机器东说念主可能和会过不雅看多半普通家务视频来习笔直段，而不需要为每一个新任务单独进行华贵的机器东说念主要领开发。虽然，从实验室演示到信得过的家用场景还有十分长的路要走，但这个方进取的每一步进展都让阿谁方针变得愈加了了可见。
有兴味深切了解时期细节的读者，不错通过arXiv编号2606.28133查阅无缺论文。
Q&A
Q1：桥接动作（Bridging Action）到底是什么意思意思，和普通机器东说念主动作有什么划分？
A：桥接动作是商议团队冷漠的一种简化的动作暗示方法，它只记载手腕在三维空间中的位置出动轨迹，去掉了手腕旋转标的的信息。普通机器东说念主动作包含六个维度（三个位置加三个旋转），而桥接动作只保留三个位置维度。这么作念的公正是东说念主类和机器东说念主在"手往那里出动"这件事上是一致的，而在"手朝哪个标的转"这件事上由于夹持机构不同而存在根柢各别，去掉旋转信息不错幸免把诞妄的旋转民风从东说念主类数据迁徙给机器东说念主。
Q2：为什么从视频里径直学习东说念主类动作之前没东说念主这么作念过？
A：本质上仍是有好多商议在尝试从东说念主类视频学习机器东说念主手段，但主流作念法是把东说念主类手腕的无缺姿态（包括旋转）都索求出来径直让机器东说念主效法。这项商议的新颖之处在于指出了旋转信息的两个根柢问题：一是视频中索求旋转信息自己就不准确，噪声大；二是东说念主类旋转手腕的原因（配抓指抓物）和机器东说念主夹爪的职责方法王人备不同，径直效法旋转反而无益。去掉旋转专注于平移，这个看似"零落"的决定反而带来了更好的后果。
Q3：这套要领老师出来的机器东说念主能完成哪些任务，笔坦直概况是若干？
A：商议团队在15个双臂操作任务上进行了评测，包括开关微波炉门、从微波炉存取碗、擦抹台面、开关抽屉、挂杯子、叠杯子、插吸管、取吐司和拔充电器。在三阶段无缺老师（大限制东说念主类预老师加荟萃老师再加每任务10条机器东说念主精调数据）后，合座平均笔坦直约为60%，任务程度分约为72%。不同任务各别较大，微波炉开门等任务笔坦直可达100%体育游戏app平台，而插吸管等需要精确旋转的任务笔坦直较低，约为20%。