“机器东谈主简直融入通达式行状场景，还差哪一步？”

作家 | 吴 彤

剪辑 | 麦广炜

大模子时间横空出世，无疑让机器东谈主时间再次成为研究和产业界的焦点。

这一时间的中枢上风在于，其不凡的数据处理和模式识别才能。通过深度学习与神经辘集时间的继续优化，大模子能够高效地处理和分析宏大的数据集。

这意味着，机器东谈主可以在更短的时刻内学习生手段，更快地顺应新任务，致使能够在莫得明确编程的情况下自主措置问题。不仅如斯，在大模子的助力下，机器东谈主的感知才能变得愈加精确，这无疑将极大地拓展其应用领域，并增强其在复杂环境中的顺应性和生动性。

关联词，大模子时间的发展同样带来了挑战。如何确保机器东谈主的决策过程透明、可阐述注解；如何让机器东谈主简直融入通达式行状场景，这些都是亟待措置的时间难题。

最近，雷峰网举办的「大模子期间，机器东谈主的时间创新与场景落地」线上圆桌论坛，汇集了南佛罗里达大学的孙宇教授、武汉大学的李淼教授、逐际能源的张巍博士、优必选科技的庞建新博士等产研界精英。

他们的见识隐藏了从表面研究到施行应用，从硬件遐想到软件算法，从感知时间到任务盘算，为咱们提供了一个全面而深入的视角，以细察这一领域的最新发展和来日趋势。

孙宇教授，从机器东谈主学的角度起程，强调端到端方法在机器东谈主学中的挑战性，尤其是在通顺盘算和践诺方面，简直的端到端限制尚未完毕。同期他也指出，AI 大模子如 GPT-4 和 CLIP ，在机器东谈主感知和常识应用方面显耀减少了研发时刻和元气心灵，使得 Demo 制作相对容易。但要害是，机器东谈主时间的简直落地和家具的可靠性仍是一个巨大挑战。

李淼教授，他重点柔顺机器东谈主盘算和践诺层面，淡薄了诈欺大型言语模子来简化任务抒发的可能性。同期他也指出，目下机器东谈主领域清寒类似于特斯拉 FSD 的融合模子，尽管数据驱动方法在机器东谈主领域被认为是要害，但目下尚未得出明确的论断，即只是通过网罗填塞的数据就能措置总计问题。

张巍教授，他盘问了端到端方法和分层方法的优劣，强调端到端方法不单是是架构问题，更是进修经由。他认为，来日机器东谈主的发展可能会采纳类似 ChatGPT 背后的 MOE 模子，由多个大家的小模子组成，通过 agent 勾搭。同期他也指出，大言语模子在决策层面上有所匡助，但对于具体的通顺限制，仍然靠近挑战。

庞建新博士，是从 AI 领域转向机器东谈主研究的凸起代表，他强调，AI 大模子在机器东谈主领域最有价值的部分，是常识推理才能和挖掘事物关系的才能。同期，他淡薄了整合大脑、小脑与机器东谈主骨子之间的使命，以及如何将新式传感器灵验诈欺到机器东谈主系统中的问题。

以下为本次圆桌对话全文（经剪辑）：

01

嘉宾先容

孙宇：宽饶群众王人聚线上，也感谢雷峰网的组织。我信赖群众和我一样，都对接下来大模子+机器东谈主的盘问充满期待。在初始之前，请群众先容下我方。

李淼：群众好！我是李淼。我本硕毕业于华中科技大学机械工程专科，博士有幸在瑞士洛桑联邦理工学院（EPFL）与 Aude Billard 教授同事，接力于于机器东谈主时间，至极是师法学习领域的研究。

这与咱们今天的盘问主题息息关联。

在本科阶段，我的研究重点偏向于建模和盘算。跟着时刻的推移，尤其是在攻读博士学位期间，我初始转向数据驱动的研究方法。在这一时期，我还与孙宇教授就抓取（grasping）领域的多个问题进行了深入盘问。

2016年之后，我采纳归国并尝试创业。咱们的推敲是打造一个机器东谈主操作系统，旨在整合机器东谈主的遐想、感知、盘算和践诺过程。尽管其时的整合主要聚拢在传统的软件层面，以及使工业软件的 API 愈加易于使用，但这一使命咱们对峙了许多年，并最终在多个场景中完毕了落地应用。

同庚，我也加入了武汉大学，并在工业科学研究院调换了一个机器东谈主实验室。

咱们专注于将机器东谈主师法学习应用于不同场景，尤其是在工业和医疗领域。在这个过程中，咱们缓缓果断到，机器东谈主任务盘算这一高线索的问题清寒明确的界说。咱们宽泛称之为TAMP（Task and Motion Planning），行将任务盘算、任务和通顺盘算搀杂在一谈。但在施行应用中，咱们发现好多任务难以用具体的方式描摹，这带来了不小的挑战。

跟着大型言语模子的出现，咱们初始念念考：为何非要在向量空间中盘算任务呢？举例“拾取与遗弃”任务，或者在抓取过程中，只需提供坐标，就能很好地阐述注解任务。但在现实宇宙中，用白话描摹任务可能会更节略。因此，咱们初始将实验室的部单干作与大型言语模子相王人集，从感知、盘算到限制，这一领域的进展相等赶紧。

咱们的使命仍在进行中，每天都有新的发现和学习。

张巍：群众好！我是张巍。我在中科大完成了自动化专科的本科学习，之后在好意思国连接深造并从事素养使命十余年。2019年，我采纳归国，并全职加入了南边科技大学。

目下，我在南边科技大学担任教职，我的实验室叫机器东谈主限制与学习实验室（CLEAR LAB），全称为 Control & Learning for Robotics and Autonomy，柔顺机器东谈主限制表面与学习算法方面的研究。

我早期的研究重点是最优限制和通顺盘算，跟着机器东谈主硬件的熟识，机器东谈主领域的研究点日益增多，我的研究重点放在东谈主形机器东谈主，涵盖了感知、盘算、限制以及强化学习等多个关联领域。

逐际能源成立于2022年，我是独创东谈主，主要从事通用机器东谈主的研发，目下的重点在于东谈主形机器东谈主的开发，同期也有四轮足。

庞建新：群众好！我是庞建新，来自优必选科技。我的学术和行状谈路可能与在座的诸君有所不同。

我在中科大攻读了电子信息工程的本科学位，那时我就也曾初始涉足东谈主工智能关联的使命。我的本科毕业遐想专注于语消息号处理，包括早期的语音识别时间。在中科大连接深造期间，我采纳了算计机视觉行为我的硕士和博士研究主义，从事图像处理和分析的研究。

从本科期间起，我就一平直力于于探索如何将AI时间与硬件相王人集。

在硬件性能有限的情况下，举例频率仅为66兆赫兹的处理器上，我尝试运行语音关联时间。在研究视觉时间时，我也在念念考如何让视觉算法在低算力硬件上运行。

在我初始行状活命时，我加入了一家外企，连接探索如何将视觉算法应用于低算力硬件。我谨记相等涌现，咱们曾尝试在唯有100兆赫兹处理器的数码相机中完毕复杂的算法。在深度学习时间世俗应用之前，我接力于于开发微型算法，措置施行问题。

2011年，我加入了中国科学院深圳先进时间研究院，初始探索如何将东谈主工智能时间与机器东谈主时间相王人集。

咱们团队孵化了多个与机器东谈主关联的样貌，并与腾讯合作，推出了全球较早的基于云的桌面交互式机器东谈主家具。2011年，咱们的家具发布后，受到了极大的柔顺。随后，咱们连接开发面向交互的智能机器东谈主家具。

2015岁首，我加入了优必选科技。那时公司还处于初创阶段，研发团队仅有十几东谈主，刚拿到A轮融资不久。

是以那时我加入优必选科技后，与CTO熊盟军博士一谈肃肃总计这个词公司的研发使命，并开辟了优必选研究院。咱们还盘算了东谈主形机器东谈主的合座布局，成为国内最早从事东谈主形机器东谈主研发的企业之一。咱们也戮力推动产业化进度，从最先的微型东谈主形机器东谈主初始，到大型东谈主形机器东谈主的研发和应用落地。

在这个过程中，我得以将软硬件王人集的才能、东谈主工智能时间应用于机器东谈主时间。同期，我也学习了许多新常识，包括机器东谈主限制、通顺盘算等。

我认为，目下的机器东谈主和大型模子研究也曾不再局限于单一领域，而是触及多个领域的常识。举例，大型言语模子也曾从基础的言语常识推广到多个领域，隐藏了从感知、领会、任务拆解和盘算等多个层面，也曾不再是单一时间。

在当前阶段，我认为既有挑战也宽裕研究价值。咱们团队在优必选科技也曾完成了多轮机器东谈主的研发，并探索了如何将各式时间应用于机器东谈主之上。

咱们遭遇了好多挑战，但目下咱们有了新主义，不管是在感知、盘算照旧限制方面，新时间的出现都将为东谈主形机器东谈主产业的发展带来巨大变化，但愿连招揽拢这个机遇。

孙宇：优必选科技自2016年起就初始研发东谈主形机器东谈主了，对吧？

庞建新：优必选施行从2012年景立以来就进入东谈主形机器东谈主中枢时间以及家具的研发。2016年，咱们推出了大型东谈主形机器东谈主Walker的原型机。2018年，咱们在CES展（国外消费类电子家具博览会）上初度发布了第一代Walker；到了2019年，咱们推出了第二代Walker；2021年咱们推出了Walker X；2023年咱们研发了工业版东谈主形机器东谈主Walker S。到目下一共是五次迭代。

孙宇：那么，您能先容一下优必选科技目下的东谈主形机器东谈主发展到了什么程度吗？你们主要面向哪些应用场景？

庞建新：优必选科技在东谈主形机器东谈主领域的研究阅历了多个阶段。最先，咱们的东谈主形机器东谈主更多用在行状场景，如导览管待、栽植科普等。但从2022岁首始，咱们初始相识到，在工业制造场景中，东谈主形机器东谈主可能有更大的应用后劲，有可能比商用行状场景更早完毕落地。因此从旧年于今，咱们的重点放在了探索东谈主形机器东谈主在智能制造场景中的应用落地。本年级首，Walker S就在蔚来汽车总装车间进行实训。这是全球首个东谈主形机器东谈主在汽车工场活水线与东谈主类配合完成汽车安装及质地检讨功课的尝试。

02

全球视线下的冲破

孙宇：相等感谢诸君的共享。咱们刚才盘问了AI和机器东谈主领域的发展，至极是大言语模子和基础模子的出现，极大地提高了 AI 的才能。这似乎预示着机器东谈主时间再次成为研究和产业界的焦点，因为东谈主们初始相识到 AI 的才能也曾能够让机器东谈主践诺一些相等迫切的任务，比如行状机器东谈主和工业机器东谈主。

我认为咱们可以诈欺各自的布景和平时不雅察到的趋势，为不雅众先容一些在国表里学术界和工业界在机器东谈主方进取取得的显耀确立，以及这些确立对总计这个词领域发展的推动作用。

李淼：在当前自媒体高度发达的期间，咱们不时会在雷峰网等平台上看到对于东谈主形机器东谈主、AI 等关联领域的最新动态。这些内容通过各式渠谈世俗传播，让咱们对这一领域有了更深入的了解。

对于我个东谈主而言，我柔顺的是机器东谈主领域的周期性发展，这是一个日中则昃的过程，相等深嗜。

回来庞建新博士之前提到的通用与专用机器东谈主的话题，我谨记在2011年参加 IROS 会议（国外智能机器东谈主与系统大会）时，咱们盘问过所谓的聪惠手（dexterous hand）的问题。

其时，许多东谈主认为聪惠手并莫得施行应用价值。我谨记 Matei，也便是 GraspIt 软件（https://graspit-simulator.github.io/）的创作家，曾说过一句闻明的话：两指夹钳（Gripper）可以措置东谈主类社会95%的问题，剩下的问题即使有聪惠手也难以措置。

关联词，十年后的今天，社会的不雅点发生了巨大变化。东谈主们初始相识到，领有类似东谈主类的聪惠手，尤其是具有高度生动性的聪惠手，将会改变好多事情。

在2010年至2015年期间，我尝试了许多种聪惠手，信赖孙宇教授也有类似的阅历。咱们使用过Barrett Hand、 Allegro Hand 、Shadow Hand 、iCub Hand 等，但它们的功能在其时受到了硬件和仿真算法的很大截至。

目下，东谈主们可能会过分强调东谈主形机器东谈主与大模子王人集的上风，而忽略了最底层的根底问题，举例在grasping 的Contact（战争）方面从未被说起。

第二点，咱们看到大模子本质上带来了什么改变？它改变了咱们对任务抒发的领会。

传统的机器东谈主任务抒发往往简化为轨迹、pick and place 或者 force / impedance control 等步地，但任务抒发自身并莫得一个涌现的界说。跟着大言语模子的引入，咱们可以将自然言语这一维度加入到任务抒发中。

关联词，如果咱们回来历史，早在2010年，东谈主们就也曾使用常识图谱等器用进行任务抒发。在欧盟，往常我参与了两个相对知名的样貌：RoboEarth 和 RoboHow。

RoboEarth 的推敲是将网上的常识整理成一步步的教唆，供机器东谈主践诺。

RoboHow 则是2014年欧盟机器东谈主样貌的杰出人物，它将网上的视频、东谈主的视觉强化学习、Wikipedia的常识整合到一个宏大的常识引擎中，进行基于逻辑的推理。

今天的大言语模子从更高的维度、更大的数据维度整合了这些常识。咱们期待此次能够在职务抒发上完毕要紧冲破。

孙宇：这确乎引发了一个问题，聪惠手究竟能有什么用处？

咱们往常盘问了手内操作（in-hand manipulation）的迫切性。如果莫得手指，就无法完毕手内操作。因此，那时候确乎存在一些不笃定性，东谈主们不涌现这些手在施行应用中能达到什么样的程度。然而，这种研究是冉冉推动的，李淼针织的不雅点相等正确。

张巍：最先，我依然认为两指夹持器（2-finger Gripper）能够完成许多任务。这个不雅点于今仍然成立。

正如咱们所见，斯坦福大学的炒菜机器东谈主Mobile Aloha ，尽管只是一个两指夹持器，但它也曾能够完成许多使命。只不外，它还弗成自主地完成这些任务。从夹持器的角度来看，我认为两指夹持器确乎能够作念好多事情。

我想补充一下刚才的盘问，提到了大模子和当前机器东谈主时间的海浪，以及这些海浪中的代表性使命。我认为，群众都像得回了一个新器用，固然对这个器用还不太领会，但它带来了新的但愿。目下咱们还谈不上取得了什么确立，我更倾向于像李淼针织那样回来历史，而不是只柔顺目卑劣量高的使命。

自然，目下有好多引东谈主防卫的使命，比如谷歌的 Code as Policies，还有李飞飞等学者的 Vox Poser，以及前段时刻相等火爆的 Mobile Aloha 。这些使命诱惑了好多东谈主的柔顺，让东谈主们对操作和大模子王人集的可能性有了新的但愿和念念考。不外，从本质上讲，这些进展可能都不太实质。

我个东谈主相比心爱的是 diffusion policy，这是旧年 RSS 会议（Robotics: Science and Systems）上的一个使命。

我之前在阅读李淼针织的一些采访时也提到过这些盘问，我认为这口角常好的使命。对于如何使用生成模子进行师法学习，这为咱们提供了新的念念考主义。

但我更想盘问的是，从具身智能和东谈主形机器东谈主的交叉领域来看，有几种不同的切入点进入这个领域：

一种是AI领域的东谈主士，他们认为 AI 找到了一个新的应用场景，即东谈主工智能的一个新载体；

另一种是咱们这些早期从事机器东谈主学的东谈主，咱们看到AI提供了新的器用。

这两个角度是不同的。咱们简直从事的是机器东谈主学，而不是因为大模子的出现才转向机器东谈主学。当大模子或其他新器用出刻下，咱们发现可能有新的方法可以措置以前难以措置的问题。

从东谈主形机器东谈主的角度来看，我在这个领域研究的时刻相对较长，与庞建新博士等学者有过交流致使合作。从这个角度来看，我认为确乎有一些相等迫切的历史性确立。固然这些确立可能不是目下最受媒体柔顺的，但我照旧想和群众共享一些我认为相比要害的实质性进展。

对于东谈主形机器东谈主，我并不认为它的开发是一项难以逾越的挑战。它本质上是一个极其复杂的工程样貌，要害在于硬件系统和软件算法之间需要详尽耦合并进行迭代。

难点在于，咱们无法预先清楚硬件的性能如何，硬件自身的开发也曾是一项艰苦的任务，而咱们也无法笃定其性能是否达标。同样，限制算法的优劣也无法提前判断，咱们需要一个优秀的平台来考证这些算法。

这两个因素互相依赖，却往往难以同步发展，就像左脚和右脚的门径老是需要瓜代迭代。

这导致在2012年之前，硬件资源极其匮乏，莫得填塞的时刻和契机去迭代和完善软件算法。因此，那时咱们使用的都口角常基础的算法。

直到2012年，跟着 DARPA Robotics Challenge（DRC）等样貌的推动，以及 Atlas、Cassie等力控机器东谈主的发展，咱们初始看到了硬件的发展，这使得软件算法得以冉冉向模子展望限制（Model Predictive Control, MPC）等更高等的限制框架逼近。这么的硬件迭代为总计这个词领域奠定了基础，为软件开发提供了一个更为坚实的框架。

随后，从2022岁首始，包括特斯拉作念东谈主形机器东谈主，硬件的大都统计数据初始出现。

这个过程中，我认为最要害的两个使命。

一个是 Patrick Wensing 在MIT的使命，也便是他在2017年发表在TRO的对于QDD的论文（Quasi-Direct-Drive，准直驱要害)。

这种准直驱要害遐想虽非最完竣的决策，但它极大地推动了总计这个词行业的发展，目下，许多双足机器东谈主都采纳了QDD决策。这种硬件的可用性至关迫切，而且群众可以赶紧不断到好多算法的迭代，这个是至关迫切的。

另外， Patrick Wensing 和他的学生2018年发表在IROS上的对于 Convex MPC 的论文也值得一提。这篇论文其后成为了 MIT 开源样貌的一部分，为软件算法的迭代提供了迫切的起始。

现如今，四足或双足式机器东谈主的限制变得可能，诱惑了更多东谈主加入到这个领域，缓缓酿成了目下的社区，并推动了像reinforcement learning 这么的器用的发展。

这一确立不仅在其时是一个标记性的进展，而且对后续的研究和发展产生了真切的影响。

庞建新：我的研究起始是AI和视觉感知。在我看来，尤其是大型模子出现之后，有几个层面对我影响颇深。

最先是多模态感知时间。

往常咱们开发的许多机器东谈主在决策方面靠近一个要紧问题：如何整合各式信息？

固然咱们编写了大都的划定，然而从视觉感知到语音感知，获取的信息往往是孑然的，难以将多维度信息简直交融起来。

跟着大模子的出现，咱们有可能将环境信息、历史信息、高下文信息、语消息息，致使个性化属性等各种信息整合起来，以匡助机器东谈主进行融合的决策。这使得机器东谈主具备了一种空洞感知外部环境的才能，类似于东谈主类的多维度感知，这对机器东谈主而言极为迫切。

这是一个施行的高出，举例VoxPoser这一使命让我感到相等欣慰。通过东谈主的搅扰，机器东谈主能够处理之前未处理过的任务，这大大提高了机器东谈主的智能水平。这为咱们提供了一个很好的念念路，即如何诈欺大型模子中的推理和常识逻辑。

我至极柔顺的第二个层面是通顺盘算。

不管是通过学习驱动(数据驱动)的方式，或者是模子驱动的方式，九九归原是如何去作念通顺？

往常，咱们也曾进行了许多基于模子的通顺盘算使命，但我想淡薄一个问题：为什么咱们需要采纳数据驱动或学习的方式来进行盘算？

推敲是完毕大脑、小脑与机器东谈主骨子之间的简直勾搭。

传统上，研究大脑的是一个团队，研究小脑的是另一个团队，而电机和硬件的开发则由第三组东谈主肃肃。这些团队之间的使命往往是孑然的，清寒灵验的整合。我认为，咱们需要措置的一个问题：包括如何将这些孑然的系统整合起来。

尽管目下东谈主形机器东谈主系统也曾取得了一定的进展，但咱们的限制系统、决策制定、任务盘算以及通顺限制等方面都还有待完善。总计这个词系统目下还处于一种拼集情状，咱们需要找到一种方法，可能是基于学习或数据驱动的方法，来将这些系统串联起来，酿成一个连贯的干线。

在当前阶段的东谈主形机器东谈主发展中，咱们见证了繁多新式传感器的浮现。这些传感器包括力觉传感器（比如一维力照旧六维力传感器）、惯性传感器，以及皮肤般的触觉传感器等等。

要害在于，咱们如何灵验地诈欺这些传感器，使它们与机器东谈主的通顺限制、决策制定、任务盘算和动作盘算有机地王人集起来。这是一个极具研究价值的领域。

比如说，触觉在许多应用中都至关迫切，不管是在抓取、安全照旧东谈主机交互方面。关联词，目下咱们尚未能够开辟起触觉与限制之间的高效系统。

行为从企业角度起程的研究者，至极是从算计机视觉领域转向机器东谈主学的东谈主，我倾向于从系统的角度来念念考问题。我更心爱从合座上洽商如何将各个部分灵验地勾搭起来，而不是只是柔顺单一的时间或方法。

孙宇：相等感谢您对多模态特质的盘问，这确乎是一个至关迫切的领域。跟着像 CLIP 这么的模子的出现，咱们目下能够更灵验地将不同类型的模子和信号交融到一个融合的暗意空间中。

这些模子能够将来自不同源的信息，如声息、视频以偏激他传感器信号，致使是触觉信号，整合到一个融合的镶嵌空间中。这种才能对于机器东谈主的通顺和行状器方面的应用口角常有价值的。

CLIP 模子的出现似乎在许多实验室激勉了对多模态研究的意思。这些研究不仅柔顺声息和视觉信号的王人集，还探索了如何整合其他类型的传感器数据，如触觉等。这确乎是一个挑战，因为机器东谈主领域的硬件正在赶紧发展，新的传感器继续浮现。

东谈主类的感觉才能是相对踏实的，从出身到目下，致使几千年前，咱们的感觉方式并莫得太大变化。关联词，机器东谈主的硬件和传感器时间变化赶紧，今天神用的传感器可能未来就会被新的时间所取代。

这意味着咱们今天网罗的数据可能在来日变得不消，因为与新的传感器关联的数据可能会使旧数据过期。因此，咱们需要继续地网罗新的数据来顺应这些变化，这是一个相等深嗜的挑战，亦然这个领域独有的研究课题。

03

从表面到实践

孙宇：如何从零初始构建并部署一套高效的机器东谈主软硬件系统？在这一过程中，咱们靠近哪些时间难题，又是如何逐个克服的？

李淼：施行上，我并莫得完整地构建过一个东谈主形机器东谈主。最近，咱们才初始了一个月的样貌，在湖北，咱们得回了湖北省一个要紧样貌的维持，推敲是构建一个具有高爆发能源模态的东谈主形机器东谈主。

在总计这个词遐想过程中，咱们永久围绕着机器东谈主系统的见识进行。不管是东谈主形机器东谈主、四足机器东谈主，照旧工业中使用的抓取使命站，本质上它们都是机器东谈主系统。

行为机器东谈主系统，其中枢是完成给定的任务条目。咱们如何遐想一个更灵验或更优化的系统来得志这些任务需求？这与 Matt Mason 对机器东谈主的一般界说相呼应，即机器东谈主是为了完毕特定任务而遐想的系统。

凭据系统表面，一个系统由三个主要因素组成：目的或功能、元素（包括传感器等）、以及元素之间的勾搭。

如果咱们将这个问题抽象化，那么输入便是总计传感器的数据，输出则是电机的动作。传感器和电机之间的勾搭通过各式结构遐想来完毕。

不管是汽车、哪吒照旧东谈主形机器东谈主，都是同样的原则。

但挑战来自于工程实践中的量度，以及在科学问题上的灵验采纳。

举例，在当前的东谈主形机器东谈主中，如何采纳最优的传感器组合？

如果咱们不洽商预算或任务条目，表面上是越多越好。我在最先进行示范学习时也有同样的困惑：为什么咱们只使用一个力传感器而不是十个？或者在每个部位都使用触觉传感器？这么任务信息不是更丰富吗，我对任务的领会不是更深入吗？那么学习出的结束服气会更好。为什么只使用一个？

比如只用一个位置传感器或只用一个视觉传感器？在东谈主形机器东谈主上亦然如斯，到底若干个传感器是最合适的？或者说，是否存在一个最合适的数目？

我认为，这取决于东谈主形机器东谈主的具体使命推敲。

举例，在某些场景中，可能根底不需要视觉传感器。

在工业场景下，如果每个物体的位置都是固定的，那么为什么还需要视觉呢？我只需要专注于践诺任务即可。

因此，这又回到了咱们之前盘问的专用与通用的悖论。

东谈主形机器东谈主是否是工业中最佳的措置决策？我对此一直持怀疑格调。我认为它可能不是最终的措置决策。

在工业上，可能更强调的是专属性、单干和配合的见识。在具体遐想上，咱们在感知层面可能也曾作念了好多使命，触及到算法层面的问题，如何采纳传感器，以及在盘算层面的探讨，包括咱们之后可能还会盘问的盘算和践诺层面的问题。

从我的角度来看，目下咱们最清寒的是遐想层面的创新。

当咱们给定一个任务，比如让机器东谈主在家作念饭，什么样的机器东谈主遐想才是最优的？咱们是否应该采纳东谈主形机器东谈主、轮式机器东谈主，或者是安装在厨房墙上的机器东谈主，又或者是能在家里飞来飞去的机器东谈主？

目下还莫得明确的谜底。

咱们往往只是基于个东谈主喜好，认为东谈主形机器东谈主看起来可以，于是就师法或鉴戒现存的遐想，略微改进性能，制作出一个能运行的原型。但这种作念法施行上并莫得太大深嗜。

咱们应该深入念念考更根底的问题，如何通过学习和进化来完毕最优遐想？能否像生物进化一样，仅给定环境和演变法规，让机器东谈主自然演化出最适当的步地？在我之前教授的一门机器东谈主课程中，有学陌生远了这么的不雅点，这让我感到相等震恐。

以手为例，不同的手可能适用于不同的任务，比如搬运大石头或拈花。从团结双无指手起程，它们是否会凭据任务的不同而演化成完全不同的夹持器？这是目下遐想中让总计东谈主困惑的问题。大多数东谈主在某种程度上都在进行复制和粘贴，而不是深入洽商任务对遐想的影响。咱们认为这是一个迫切且穷苦的问题。

另一个咱们在遐想中洽商的问题是触觉传感器。在触觉传感器的遐想中，一个迫切的部分是如何采纳合适的敏锐材料。

咱们宽泛基于现存材料的性质进行采纳，如果它们灵验，咱们就使用它们。但这并不一定是最佳的采纳。咱们需要什么样的灵敏度？咱们需要什么样的敏锐度弧线？咱们能否通过这么的弧线，诈欺AI的方法，找到最适当咱们功能需求的材料？咱们发现，这小数正是最传统且最稀缺的领域之一。

如何灵验地将数据驱动的方法引入到传统系统遐想中，尤其是在硬件遐想方面，这是我一直在探索和合作的主义。这亦然我目下感到困惑的地点。

孙宇：确乎，每年的ICRA（国外机器东谈主与自动化会议）和IROS（国外智能机器东谈主系统会议）上，都有许多对于硬件遐想的论文。连年来，一些实验室初始诈欺强化学习或其他学习时间来进行优化，以产生更为优化的机械手遐想。

关联词，我还莫得看到有东谈主凭据施行需求来决定传感器的采纳。我看到了一些对于材料的研究，然而如何凭据需求来采纳最合适的传感器，这小数似乎还莫得得到填塞的柔顺。

这是一个值得进一步探讨的领域，咱们期待来日能看到更多关联的研究和创新。

李淼：我防御到宋舒然团队也曾采纳优化方法来遐想指尖名义，这是与传感器遐想较为关联的一个实践案例。关联词，对于更世俗的、系统层面的传感器遐想，尤其是触及到材料科学方面的，似乎还莫得太多的进展。

孙宇：确乎如斯，目下的研究和开发主要聚拢在传感器的具体布局，举例光电传感器的遗弃位置，或者机械臂要害中透镜的遐想等。

张巍：对于从零初始构建机器东谈主软件系统，我相等赞同李淼针织刚才的不雅点。

我认为，机器东谈主本质上是由一系列要害勾搭而成的。因此，构建机器东谈主系统的要害最先在于领会这些要害。

要害里面包含了许多复杂的机制，如电机、骨子传感器等，这些都是限制要害通顺的基础。每个要害都可以视为机器东谈主最小的通顺单位，它提供两种基本功能：

一是提供通顺，即要害动掸的角度；二是在腿式机器东谈主中，要害更多地被视为提供力的单位，能够快速反馈给定的扭矩条目。

因此，构建系统的首要技艺是深入了解这些中枢功能和组件，然后精明要害的遐想，以达到极致的性能条目。这是构建机器东谈主的第一步。

接下来，不管咱们遐想的是什么样的机器东谈主，本质上都是通过结构件勾搭起来的一系列要害。在这些要害中，咱们叮咛传感器，并进行通顺限制。在我看来，通顺限制本质上是对于所相关节的协同使命。每个要害提供寂寥的通顺单位，而总计这个词系统需要这些要害之间的协同。

目下，通顺限制时间也曾相对熟识，许多库和器用都也曾相等完善，算计速率也很快。往常，通顺限制是一个相等复杂的问题，但目下，咱们主要柔顺的是如何让要害之间的协同使命愈加通达踏实，以及如何通过通顺限制器来完毕这小数。

早期的机器东谈主宽泛采纳离线编程或示教编程的方式，预先盘算好动作，然后在工业环境中访佛践诺，这种方式不需要与环境进行交互，因此相对熟识。

关联词，最具挑战性的部分是通顺弗成预先被编程固定，而需要凭据及时感知的环境情况来决定如何反馈。这是AI可以阐述迫切作用的前沿领域。

连年来，AI在姿态识别、抓取识别等方面取得了显耀进展，能够及时处理非预设的任务。而大型言语模子则在场景语义领会和盘算方面取得了进展。时间冲破的难点在于后期的感知和盘算。

对于早期工程的时间难点，我认为主要聚拢在要害的里面遐想上。如果要给出建议，我的原则是，如果你不笃定我方是否有才能从零初始构建，那么最佳不要我方作念。最佳是购买市集上已有的熟识家具。如果实在莫得合适的采纳，再洽商按照前边提到的方法自行开发。重新初始构建总计这个词系统是一个漫长且复杂的过程，需要跨团队的配合。

在盘问机器东谈主时间落地的过程中，咱们不得不面对一个现实：打造一个踏实可靠的机器东谈主极具挑战性。

施行上，将机器东谈主从见识改革为施行应用的过程充满了穷苦，这种挑战之大，以至于许多东谈主对机器东谈主时间的落地持严慎格调。

他们认为机器东谈主时间难以完毕贸易化应用，这种不雅点并非完全莫得风趣。

我认为，这并非时间自身的局限，而是推敲设定的问题。要害在于，咱们是否能够准确识别熟识时间的领域。许多问题本质上属于探索性质，正如咱们今天盘问的内容，大部分都属于探索鸿沟。探索是发散的，咱们无法先见最终能否找到措置决策。

制作一个 Demo 相对容易，但要完毕时间的简直落地则难度极大，两者之间的差距可能相等巨大，你可能需要进入绝大多数元气心灵来提高家具临了的可靠性。制作一个Demo可能只需要一次见效，但家具需要持续踏实地提供功能。这两者之间的区别相等昭着。

Demo在学术界可以便是一个可接纳的结束，而在家具界，它只是一个起始。这是咱们需要领会的基本逻辑。

孙宇：确乎如斯，咱们每年举办的 Robotic Grasping and Manipulation Competition，就能涌现地展示出论文中提到的见效劳在施行应用中的阐扬。

你可以看到，施行中的阐扬与论文中描摹的百分比之间存在哪些互异。在竞赛中，许多实验室还需要搭建各式灯光环境，这些环境在施行应用中可能并不那么可靠，这些自负相等深嗜。

庞建新：这个问题确乎相等深嗜。正如张针织和李淼针织刚才所盘问的，谜底也曾相等明确：不建议从零初始打造任意类型的东谈主形机器东谈主。

因为机器东谈主与其他家具有所不同，它需要多个领域的大家共同配合才能见效研发出来。

正如咱们之前提到的要害时间，它自身就不节略。然后还有骨子限制、表层感知，以及各式电子器件和传感器。处理器也可能触及多个，有的偏重AI，有的偏重限制。

是以，正如两位针织所建议的，尽量不要从零初始制作一个东谈主形机器东谈主，因为这需要一个跨领域的大家团队才能完成这项使命。

这也恰正是东谈主形机器东谈主的魔力所在，它是一个高效的跨领域大家团队共同完成的样貌。

不管你是否有一个明确的推敲，或者你只是想复现当前东谈主形机器东谈主的水平，不管你的推敲是面向某个工业场景照旧行状场景，施行上你需要面对的问题都是类似的。

不管是硬件问题、软件问题、AI问题照旧传感器问题，措置这些复杂系统的挑战都是不可幸免的，因此这并不适当单一领域的大家或小团队来承担。

可能会有一些聚焦某一个领域的尝试，比如专注于限制部分，那么可能融会过外部合作的方式来获取相应的硬件。

如果是一个专注于硬件的团队，那么可能会寻找一些专注于 AI 的团队来进行合作。

这是基于我我方的领会，亦然我多年来从事机器东谈主研发使命的小数小体会。

孙宇：对于团队组建，您能否大致估量一下，一个接力于于研发东谈主形机器东谈主的团队需要若干东谈主力？比如在中国一些知名的公司，资金和东谈主才都不是问题。那么，这么的团队应该由哪些方面的东谈主才组成？需要若干东谈主才能作念好这方面的使命？

庞建新：我认为目下的问题不是资金的问题，也不是东谈主力的问题。从全球范围来看，见效研发过东谈主形机器东谈主的团队有若干？

东谈主形机器东谈主的研究进入是相比大的，国内好多高校受到科研经费的截至，如果莫得经费维持，就无法进行持续研究。最近这一两年，一些高校才初始得回这方面的进入。

自然，在好意思国，研发东谈主形机器东谈主的团队也未几，得回政府资金维持的团队更是少数。欧洲除了几个知名的团队外，全球简直从事东谈主形机器东谈主研发的团队并未几。

我认为现阶段不是进入若干资金就能见效研发出东谈主形机器东谈主的问题。如果再过五年或十年，咱们积攒了填塞的东谈主才，硬件时间初始不断，圭臬化，各式模块也缓缓熟识，那时制造东谈主形机器东谈主的门槛可能会裁减。但到目下为止，制造一台样机的团队仍然攻击易，作念一台软硬件都可靠的东谈主形机器东谈主就更难了。

孙宇：明白了，相等感谢。从产业界的角度来看，这个挑战有多大？

庞建新：制作一个Demo可能只需要找到各个领域的一两个大家，再加上几个工程师，就可以完成。但如果要面向施行应用场景，作念到可靠和踏实，那还有很长的路要走。

04

AI大模子的厉害

孙宇：接下来，让咱们连接盘问群众刚才提到的AI大模子或者是基础模子（foundation model）的最近进展。至极是GPT-4、CLIP 等模子的出现，它们在感知（perception）和常识（knowledge）方面的应用，大大减少了研发所需的时刻和元气心灵。

群众可能对这些模子在不同领域的应用也曾相等熟悉。能否共享一下您对这方面的领会和感受？

至极是哪些大模子对机器东谈主学领域尤为迫切，不管是在感知、决策，照旧东谈主机交互方面，群众认为目下还零落哪些元素，以及来日需要在哪些方面进行提高？

李淼：咱们团队的研究中，咱们主要柔顺的是盘算和践诺层面，而在感知方面的使命相对较少。在施行应用过程中，咱们倾向于将言语大模子视为任务推理和抒发的器用。通过它，咱们可以将复杂的任务阐述为一系列子任务或子推敲。在本年5月份的 ICRA（国外机器东谈主与自动化会议）上的关联研讨会上，咱们将与香港汉文大学的团队合作，探讨这一主题。

咱们将大任务拆分为多个子任务或子推敲，在子任务层面，咱们使用视觉言语模子来识别对应的物体情状。在这个过程中，咱们王人集了传统的盘算言语，如PDDL，试图构建一个逻辑树。基本上，咱们分为三层：任务盘算层、子任务盘算层，以及底层的践诺和限制。

在子任务盘算层，咱们会使用VR、机器学习等时间。

在践诺和限制方面，咱们会缓缓采纳所谓的缺陷战略（deficient policy），尤其是在践诺具体任务，如提起苹果或咖啡的轨迹盘算上。

早期咱们可能更多地依赖于演示学习和 GMM 来抒发轨迹。但目下咱们发现，在酬酢学习中，为了更好的泛化性能和与 VR 的王人集，咱们缓缓采纳缺陷战略，因为 GMM 需要将轨迹抒发为向量空间，而咱们无法仅通过图像平直得出要害角度。

在一些特定场景下，如使用机器东谈主进行超声检讨或力控打磨过程中，咱们会将力觉、触觉等信息引入到缺陷战略中，以践诺任务。

目下咱们所清寒的，本质上是但愿有一个融合的模子，类似于特斯拉的FSD。左侧是总计传感器的输入，右侧是电机的输出，输入和输出相等具体。咱们但愿一个辘集能够完全完毕端到端的功能。

但目下在机器东谈主领域，咱们还无法作念到这小数。咱们只可在一些相等小的任务中完毕端到端的辘集，但在泛化到更世俗的任务时，咱们发现这是不可行的。

这可能仍然是一个数据问题，就像在自动驾驶领域一样。但在机器东谈主领域，尽管主流不雅点倾向于认为数据是要害，但咱们尚未得出明确的论断，即只是通过网罗填塞的数据就能措置总计问题。

关联词，目下大型研究团队和创业公司都执政着这个主义戮力，寻求创造更经济高效的数据采集方法。举例，使用 Aloha 等方法可以低本钱地进行演示或仿真，致使通过动作捕捉时间来网罗数据，这些都是为了高效地采集大都数据。

在模子层面，咱们可能更多地尝试将自动驾驶领域的逻辑适配到机器东谈主中，淡薄了所谓的基础模子（mediplation foundation model），包括操作、导航和感知的基础模子，并试图将它们整合应用到机器东谈主中。在施行测试中，咱们也可能会冉冉将自动驾驶领域的算计才能改革到机器东谈主领域。

咱们不雅察到，在盘算层面，大模子的使用依赖于更强劲的算计芯片，可能达到每秒10次的频率。在通顺盘算层面，使用VIM时间可能将算计频率提高至每秒百次。而在最底层，如通顺限制、模子展望限制（MPC）或力限制，致使包括机械臂的踏实性，咱们可能需要达到每秒500到1000次的频率。总体而言，咱们仍然会罢黜传统的分层限制战略。

然而否能够开发出一种辘集，能够同期完毕盘算、践诺和限制这三个层面的功能？

正如咱们从 OpenAI 发布的 Figure 东谈主形机器东谈主的视频中看到的，其中仍然存在“行径采纳”的问题。

Figure 视频展示：https://www.bilibili.com/video/BV16u4m1M7bL/

这一层的采纳机制令东谈主困惑，不笃定是从神经辘集中自动进行采纳，照旧在不同层之间会有一个勾搭层来进行采纳。

我信赖，在不久的将来，可能在本年年底之前，机器东谈主领域的合座途径将有一个相等明确的谜底，即端到端的方法是否能够措置机器东谈主领域的总计问题。

这可能是总计想要进入这个领域的东谈主需要快速决定的问题：要么专注于端到端的措置决策，要么专注于其中的某一个特定点，如表层的任务盘算、中间的通顺盘算，或底层的传统限制。最终，总计这些都将融入到一个更大的辘集中，酿成一个通用的 pipeline 。

孙宇：端到端的方法确乎颇具挑战性。在机器东谈主学中，端到端宽泛是指从视觉输入初始，举例图像识别抓取点。

但施行上，这并不是完全的端到端，因为最终还需要通顺盘算的参与。因为你需要进行碰撞检测、避障和通顺盘算。如何让夹持器正确地抓取物体，以及如何限制夹持器的开合，施行上并莫得完毕简直的端到端。

李淼：对于这个问题，我想补充小数。在我读博士期间，咱们网罗了大都的对于阻抗限制（impedance control）的数据。我我方网罗了大要 40 万个不同的抓取样本，并使用数据驱动的方法制作了一个相等好的限制器。

但其后我果断到，在抓取任务中，咱们可能需要的数据量还不够。

如果咱们能够网罗到填塞多的数据，比如 100 亿个抓取样本，那么总计咱们之前盘问的碰撞检测、手指经管，致使包括更传统的摩擦经管（friction core）以及力限制（force control）等，这些经管本质上都会在咱们网罗的大规模数据聚拢隐含地包含进去。

这么，咱们就有可能完毕简直的端到端限制。这只是一个假定，我淡薄来与群众共享和盘问。

张巍：在盘问大模子与机器东谈主王人集的话题时，我认为主要有两种念念路：一种是端到端的方法，另一种是分层的方法。

端到端的代表是 RT 系列，它们通过在厨房环境中使用机器东谈主网罗数据，最终但愿能够完毕平直的限制。

关联词，目下来看，端到端方法的推广仍然是一个挑战。

至于分层方法，最近Figure的东谈主形机器东谈主展示出了三层结构，固然具体的分层数目可能因东谈主而异，但基本念念路是相似的。这不一定非得是三层，也可能是四层，或者两层，这取决于具体情况。

我想共享几个不雅点：

最先，端到端方法不应该被视为一个黑箱或者只是是架构的问题，它更是一个进修经由。

东谈主们心爱端到端方法，并不单是是因为它由神经辘集组成，而是因为它能够通过数据驱动的方式减少对划定的假定，从而进修起总计这个词架构。

咱们构建的大多数架构，包括特斯拉所使用的，所谓的端到端方法，其实只是经由中的一部分，许多模块都是预先经过考证的。举例，transformer 和一些 Bird's-Eye-View (BEV)等，这些都是经过深入领会的组件，并不是纯正未知的黑箱操作。这是一个我想要强调的方面。

至于使用什么样的模子，我认为这是一个见仁见智的问题。

我同意李淼针织之前的不雅点，咱们也使用缺陷战略和大模子进行任务阐述，以及模子学习进行手段进修。这些经由其实大同小异。

我想略微共享一下，对于模子的底层逻辑，到底什么是模子？大模子好照旧小模子好？

施行上，ChatGPT 背后的中枢是 MOE（Mixture of Experts），它并不是一个单一的巨大辘集，而是由大家辘集勾搭而成，通过一些 机制让每个大家阐述其特定上风。我认为来日机器东谈主的发展也会类似，MOE 步地的模子来完成合座任务。

让咱们回到模子的底层逻辑。所谓的大模子，主要指的是大型言语模子，但不管模子大小，要害在于它们是否有用。

咱们不时上课给学生讲的第一句话：All models are wrong, but some are useful.（总计的模子都是不实的，但有些是有用的）

咱们使用模子，主要看它们对咱们的应用是否有用。

模子的本质是对数据和不雅察自负的压缩，这种压缩是否对你的应用有损伤，决定了模子的正确性。

举例，我屋里的空调，我可以用一个节略的一阶动态系统模子来描摹，这很节略，这是我对应用的压缩。同期，我也可以将总计分子的通顺都描摹出来，以了解精确的物理漫步。在这种情况下，数据量会相等大。哪种模子更好，取决于是否能够压缩和描摹这些数据。

如果你莫得牛顿定律，这些数据你都得记下来，不然你无法将它们磋商起来。目下咱们不需要记着所额外据，只须知谈物理定律就可以了。物理定律是通顺的基础模子，而言语的基础模子是概率辘集，即大型言语模子。

言语无法压缩到更低维度的空间，咱们目下找到了一种通过大型言语模子来描述的方式，但这并不一定是最佳的方法。

因此，大型言语模子对言语、逻辑致使视觉这类碎裂数据相等有用。它们大大匡助咱们进行东谈主机交互和任务领会盘算。然而，如果要让机器东谈主践诺任务，至极是与物理宇宙的交互，目下大型言语模子的匡助照旧有限的。

具体来说，大型言语模子可能在决策层面上有所匡助，但对于具体的通顺限制，它仍然靠近挑战。

总的来说，我更倾向于认为 MOE 的方式在机器东谈主领域可能更有用，就像 ChatGPT 一样，它由多个大家的小模子组成，通过一个 agent 的见识将它们勾搭起来。这可能是来日机器东谈主发展的一个主义。

孙宇：相等好的共享。确乎，这两种方法各有其上风。东谈主类大脑的结构也为咱们提供了一个类比，正如庞博士之前提到的，大脑和小脑协同使命，各自承担不同的功能。

同样地，神经辘集的结构也可能不会是单一的，它们可能会凭据功能的不同而有所区别。

一种辘集可能肃肃处理通顺关联的信息，而另一种则处理更高线索的抽象常识。

这两种辘集在结构和功能上都是不同的。这种结构各种性在神经辘集遐想中口角常有价值的，因为它允许咱们针对特定任务优化辘集，从而提高合座性能。

庞建新：对于 AI 大模子的厉害，我想共享一下我我方的看法。

我认为，在 AI 大模子中，对于机器东谈主领域最有价值的部分之一是，如何灵验地挖掘模子中蕴含的常识、推理才能，以及挖掘事物之间关系的才能。

这对于机器东谈主的感知和决策至关迫切，因为如果机器东谈主清寒这种才能，就意味着它失去了自主性。这种才能取决于机器东谈主对外部环境、东谈主物、事件之间逻辑关系的领会。

最先，咱们需要探讨如何挖掘这种才能。

这种才能并不完全取决于挖掘一个何等大的模子，而是要洽商与场景关联的数据。咱们需要构建一个灵验的模子，不管是通过调养大模子的参数，照旧特意为这个场景构建一个小模子，使其具备这种才能。这么，机器东谈主就能在特定场景下具备简直的感知才能，并完毕主动交互。

这是咱们所说的机器东谈主简直的“感知才能”，能够完毕主动的交互。

正如李淼针织之前提到的，如果给机器东谈主一个教唆去作念饭，但还需要东谈主的率领，那么咱们如何让机器东谈主我方能够去作念饭呢？它需要外部环境的感知才能，来了解当前的时刻情状和作念饭的具体技艺。这就需要大模子的才能，咱们认为大模子具备这么的后劲，能够让机器东谈主具备主动感知和交互的才能。

另一部分是与东谈主类通顺限制和通顺智能关联。

其实东谈主类的好多通顺是无果断的。这部分是为什么咱们要洽商使用基于数据的方法，因为咱们找不到填塞好的数学模子来抒发这些通顺。

举例，在双足行走的传统方法中，咱们使用的是一个简化的物理模子，因为咱们找不到与东谈主类行走匹配的数学模子。这时，咱们可能会引入数据驱动的模子。

这些模子与基于常识的模子是不同的。基于常识的模子需要好多大家常识和世俗的显性常识，而面向通顺的数据驱动的模子可能触及的是隐性常识。这种隐性的常识可以通过构建仿真环境或真实环境的数据交融进行进修来得回。但这个模子能否平直应用到物理宇宙中又是另一个问题。

咱们知谈，东谈主形机器东谈主的物理结构，不管是机械部分照旧限制部分，与数字宇宙中的模子之间老是存在很大互异。那么如何将数据驱动的模子应用到物理宇宙中，这是一个巨大的挑战。

具体来说，东谈主形机器东谈主可以界说为三大才能：

1，出动才能。

出动才能在很厚情况下主要依赖于感知时间，但它并不完全与感知详尽关联。

举例，保持大地均衡主要依赖于力觉反馈或者机器东谈主自身的通顺均衡限制智能。机器东谈主的视觉感知可能仅用于识别并遁入阻拦，如峭壁或杂物。

2，操作才能。

我永久认为操作部分有可能完毕简直的端到端限制。咱们可以将操作视为一种刚体通顺，或者是基于反馈的通顺。这种方法有助于幸免许多对感知精度条目很高关联的问题，使得操作过程愈加类似于东谈主类的机制。

尽管咱们东谈主类的视觉感知系统无法精笃定位物体的完全位置，咱们却能够相对精确地感知两个物体之间的相对位置。同样的，目下机器东谈主有类似的问题，能够感知到物体之间的相对位置，通过大都的学习和数据驱动的方法，基于视觉感知行为反馈，咱们可以完毕端到端的抓取。

此外，在完毕端到端限制的过程中，咱们可能并不老是平直限制电机。如果平直限制电机，可能会与硬件详尽耦合，这不利于模子的泛化。因此，我可能会采纳将这个过程阐述为两个模子的交融。

正如张巍针织所提到的，多个模子的组合并不料味着它不是端到端的，这只是为了措置硬件配合的问题，将其阐述完毕。

3，顺应才能。

咱们需要处理不同传感器的输入和适配不同硬件。因为其特殊构型，东谈主形机器东谈主随机是处理单一任务效劳最高的。为了顺应现实环境，东谈主形机器东谈主有许多通用化的遐想，它在不同环境和多任务中的平均效劳可能是最优的。

咱们的推敲是在特定场景中完毕效劳最优。这就条目咱们的模子具有泛化性，不仅要顺应不同的环境，还要适配不同的硬件构型。

举例，在工业场景中，咱们不一定需要五指手，也许二指或三指手就能提高东谈主的可靠性和耐用性。因此，咱们可以采纳分层的方式来得志场景适配、硬件适配或任务适配的需求。

大模子为咱们提供了许多可能性，但同期也带来了许多问题。

最先是本钱问题。

在机器东谈主上运行多个模子会加多本钱。咱们需要洽商如何整合这些模子，同期保证经济性。咱们可能需要专用的硬件设备，或者洽商运营本钱。对于一些需要大都常识的复杂任务，咱们可能需要更大的模子，而这些模子可能无法在腹地运行，需要部署在云霄，都触及本钱问题。

其次是效劳问题。

在使用 ChatGPT 等器用时，咱们发现很少一次就能见效完成任务，宽泛需要屡次尝试和调养输入。这亦然机器东谈主应用中需要幸免或措置的问题。在大模子中，尤其是生成式的大模子使用中，这是一个自然存在的挑战。

第三个问题是对于机器东谈主使用生成式大模子在交互过程中可能出现的幻觉问题。

在机器东谈主与东谈主交互时，可能会产生一些不实的认识或领会。关联词，对于用户来说，机器东谈主自身并不知谈这些幻觉的存在。因此，如何措置信息对王人问题来摈弃幻觉，确保机器东谈主的践诺既可靠又灵验，同期保险安全。

这三个挑战是机器东谈主在施行应用过程中必须面对和措置的。

孙宇：相等感谢庞博士的共享。真实，目下大言语模子和其他模子在传统 AI 领域的应用也曾相等世俗。在这些应用中，并不条目模子永久正确无误。但在机器东谈主学领域，情况就有所不同了。

庞建新：是的，我对大模子的应用进行了分类，分为两类业务，这是我个东谈主的分类，可能不完全准确：

一类是“非严肃应用”，在这些应用中，不实是可以接纳的，可以通过东谈主的反馈进行矫正。

举例，让机器东谈主绘制或写诗，致使总论断文，这些都是可以接纳的应用场景。

但在“严肃场景”中，比如金融风险限制或要害交互决策，咱们就需要相等严慎，确保信息的准确对王人。在这些领域，确保输出信息的可靠，成为了一个迫切的挑战。

05

时间与现实碰撞

目下的AI时间仍然受限于特定场景，而完毕简直的泛化和通用东谈主工智能（AGI）仍然是一个挑战。如何使机器东谈主能够简直走进通达式行状场景的挑战？倒推企业和学术界应该如何配合？

孙宇：不同的应用场景有不同的条目。咱们也曾从更高线索的角度盘问了好多内容。目下咱们从一个更具体的角度来看待这个问题。

在当前的机器东谈主领域，还靠近着哪些要紧挑战，需要哪些时间的进一步提高？请群众说一些具体的例子。

对于想要进入机器东谈主领域的研究者来说，哪些领域也曾准备好落地，不再需要进行研究？而哪些领域咱们认为目下还不够熟识，可能需要给其他研究者一些主义性的建议？这些挑战在什么情况下可能得到措置？或者有莫得对来日某个时刻点的展望？

从作念饭的角度来看，我认为最初始的是常识暗意，然后是通顺盘算，接着是限制，临了是践诺。以及还有一个问题，那便是不实处理。

不管是机器东谈主照旧东谈主，在作念饭的过程中总会犯一些不实，至极是对于刚初始莫得经过邃密进修的东谈主来说，进入厨房作念饭犯不实口角常正常的。那么，咱们应该如何来处理这些不实？

李淼：王人集当前的需求来看，我也曾与港汉文的陈翡合作过许多炒菜的例子，包括在 Aude Billard 教授的实验室也进行过许多不花费资源的样貌，比如从雪柜取出食材进行烹调。

在表层盘算这一层面，因为主淌若在仿真器中进行，是以结束主要取决于任务分割的好坏，而这并不触及太多的草任性。

我认为，任务分割的好坏莫得客不雅的圭臬，但跟着ChatGPT等时间的发展，将大任务阐述为小任务的才能也曾相对熟识。

进一步到具体践诺层面，咱们最先需要感知，举例厨房中的器用位置、刀具和食品的位置。在烹调过程中，咱们需要知谈食品的情状，比如它的滋味。在感知层面，尤其是视觉感知，我认为也曾相等熟识，因为它主要触及掩饰和光辉问题。跟着视觉关联竞赛研究的进展，这一领域缓缓变得熟识。

关联词，在多模态感知方面，除了视觉，还可能包括感觉、味觉等。在烹调过程中，咱们弗成仅凭样貌判断食品的好坏。尤其在具体烹调时，可能需要监测火焰温度或食品的熟度，这些无法仅靠视觉来判断。

在这一层，除了视觉之外的感知层面，目下研究的东谈主还较少，还莫得东谈主将感觉或味觉集成到机器东谈主的大模子中，或者这方面的传感器尚未明确。

再往后，便是盘算和践诺层面。

在践诺层面，触及具体操作和与物理宇宙的战争时，熟识度并不高。战争和非战争过程中的建模相等穷苦，尤其是施行操作中，比如抓取时，手指出动一毫米可能导致完全不同的结束。

在触及严格战争的操作，尤其是所谓的聪惠操作时，目下还远未准备好。不管是从硬件、感知照旧践诺层面，都存在许多挑战。我认为，要让机器东谈主的这种操作走进咱们的日常生活，目下熟识度可能唯有20%～30%，不管是限制、硬件照旧算法、传感器等方面，都还有很长的路要走。这是我个东谈主的粗陋估量。

孙宇：感谢共享。物理战争或者物理交互是一个相等具有挑战性且尚未熟识的领域。我个东谈主感觉，以1毫米为例，给我的感觉，似乎标明抓取或者物理战争自身是一个非连气儿的过程。我不知谈这种感觉对远离，请张巍教授共享一下。

张巍：基本上我同意这个不雅点，况且我想略微补充一些细节。对于什么是“ready”的领域，咱们可以大致将其分为三层。

第一层是盘算（planning），这包括了好多内容，如东谈主机交互、任务盘算等。盘算层面指的是机器东谈主能够通过意象就能完成的任务，不需要施行动作，只需要盘算出要作念什么，约略如何走，这些不需要真实的通顺过程。

第二层是每个单位的动作或者原始动作（motion），触及到战争物体、改变物体的姿态等。举例炒菜过程中的各式动作，与战争关联的这一层目下是发展中的。

第三层，即总计这个词通顺限制底层与硬件的耦合，这一层相对来说相比熟识。

大模子或者多模态感知对表层盘算和中间的动作践诺都有匡助，它们都是必需的。目下感知部分，尤其是那些需要经营的感知任务，大模子可以提供一定的匡助，但在我看来，这些仍然口角常不熟识的，至极是触及到战争或保持战争的感知任务，这一步相对相比穷苦。

我认为师法学习在数据填塞多、任务填塞节略的情况下可能会有一定的效果，但在职务复杂且泛化条目高的情况下，这亦然来日值得期待的一个研究团聚点。

孙宇：张针织，你刚才所说起的，最先期的两个线索似乎尚未完全准备就绪，对吧？我指的是从常识层面到通顺盘算这一阶段，也便是最基础的高线索常识。

张巍：确乎，我在描摹表层结构时并未过分详确。你提到的从常识到通顺盘算这一部分，我认为相对来说问题要节略一些。通顺盘算方面的问题也相对容易处理。

然而，当触及到任务盘算和分拨，以及进一步拆解使命时，我认为这些都是属于大型模子中 agent 的一部分。大型模子自身的 agent 功能，比如帮我修起一封电子邮件或者安排一次旅行，这些任务要准确无误地完成照旧有挑战的。

至于机器东谈主智能体（Robot agent）的发展，我认为还有一段路要走，才能对外扩充。

当你将任务拆解到动作层面，比如我要往常提起一个手柄，总计这个词通顺盘算方面，我认为相对来说问题要节略一些。咱们可以看到如何措置这个问题，只须幸免碰撞就可以了。

如果盘算的目的是为了幸免碰撞，那么盘算就相对容易；如果是为了完毕战争，那就复杂了。

孙宇：事实上，咱们之前也认为在通达环境中寻找任务口角常具有挑战性的。然而自从引入了GPT-4 之后，咱们发现存许多方法可以灵验地索要任务，或者构建一个局部常识图谱。

通过这两种方法的王人集，咱们能够使任务践诺变得相等可靠。咱们有信心能够将准确度提高到 90% 以上。那么，总计这个词任务的践诺就不会有问题。

如果你给出 100 个大型任务，其中 9个任务将会被完全正确地阐述。唯有在 10% 的情况下，可能在阐述过程中的某一步会出现问题。

即使在大多数家庭环境中，这么的准确度亦然可以接纳的。因为在操作过程中，如果机器东谈主发现某一技艺不正确，它可以自我矫正并再行践诺。是以我认为这部分的使命口角常有价值的。

张巍：您刚才提到的任务阐述正确率。如果在践诺一个子任务时出现了不实，比如我想要煎鸡蛋，但机器东谈主却不小心打翻了。这种情况是在您所说的 90% 的准确率之内，照旧属于另一种情况？这触及到任务的泛化才能。

孙宇：是的，这种情况属于失败规复（failure recovery），这是咱们目下正在戮力措置的问题，而且这不包括在90% 的准确率之内。

90%的准确率是指，比如有一个节略的食谱，比如说今天早上想吃煎牛排或者煎蛋卷，你告诉机器东谈主总计这个词任务，它能够将任务阐述为从雪柜取出鸡蛋、遗弃位置、搅动等十几到二十个技艺，况且能够 100% 正确践诺。

如果有一步不正确，在机器东谈主施行践诺过程中，它可能会发现问题并攻击易措置，这时就会再行触发任务的再生，从而确保任务能够获胜完成。

庞建新：时间与现实之间存在着不小的差距。

我认为，第一个显耀的远离尤其在于通用东谈主工智能（AGI）方面。

毫无疑问，当前的AI与AGI之间还有很长的距离。这意味着，在通达场景下，基于常识驱动的方法并不十分灵验，因为咱们无法完毕完全的泛化。要简直完毕泛化，咱们需要措置两个主要问题：第一，完毕 AGI；第二，咱们需要更先进的硬件。

前者是指，当前机器东谈主硬件与尚未达到 AGI 的 AI 的王人集，这主要用于措置特定问题。

举例处理结构化或半结构化环境下的特定任务，在有限环境或半结构化环境下践诺有限任务，咱们认为这在当前也曾具备了可行性。尽管仍需在传感器、系统工程等多方面进行改进，但这些主淌若工程问题，而非表面上的挑战。

另外，咱们是否领有填塞先进的硬件。

举例，咱们可能会需要超越传统的电机驱动决策，因为电机在功能密度和能量密度上有其自然的截至，可能会有新的机械构型出现。

再算上AGI的加持，咱们的通达场景本质上将不再只是是处理结构化任务，而是在践诺这些任务的过程中处理额外情况。

举例，如那里理倏得出现的阻拦物或失败的情况？如何通过屡次尝试学习并掌捏某种才能？我认为这两个阶段是咱们来日发展的要害。

回到当前的现实情况，施行上在感知层面，咱们也靠近着巨大的挑战。

我在感知方面的研究较多，但目下的感知时间主要照旧基于二维的。关联词，当机器东谈主在出动或操作过程中，咱们还需要措置的是三维感知问题。

目下，要让 3D 感知时间在咱们的机器东谈主骨子上灵验应用，或者在略微泛化的任务中阐述作用，仍然是一个挑战。举例，最节略的情况，如那里理透明或反光物体？自然，这可能需要多个传感器，通过多视觉传感器交融来完毕。

再举一个例子，前几天我参加了一个具身智能的盘问会。他们提到了一个对东谈主类来说相等节略，但对于机器东谈主却颇具挑战的场景：如何端有水的杯子？水是流体，会飘荡，不管如何都会飘荡。你如何确保在倒水时不溅出杯子？在出动过程中又如何保证水不溅出？

这对东谈主类来说可能是自关联词然的事情，不需要经过大脑念念考，小脑就可以基于触觉反馈进行自然的通顺，感知到要点的变化等。

关联词，这一部分恰正是机器东谈主目下尚未措置的问题。目下总计的感知和限制大多基于视觉或触觉感知，但这些传感器并莫得咱们联想的那么灵验。它们与咱们的限制模子之间还莫得开辟起灵验的关系，这也截至了许多可能性的发展。

咱们宽泛将这类问题归结为：算法在特定场景下的应用。

以端水这个节略的任务为例，我信赖目下大多数机器东谈主要见效完成这项任务还相等穷苦。这个任务固然听起来节略，但其实质触及到从感知到限制，再到决策，致使还包括视觉感知等多个层面，是一个相等复杂的挑战。

这里我想强调的一个不雅点是：目下机器东谈主还靠近的一个要紧挑战在于总计这个词系统的不完整性。咱们尚未构建出一个完整且可靠的机器东谈主系统。如果咱们能够灵验地整合各式模块，完毕它们之间的信息传递和限制调治，那么好多问题可能可以应刃而解。

因此，回到我的领会，咱们企业需要作念的使命施行上是如安在学术界的结束基础上构建这么一套系统，冉冉完毕传感器与系统之间的圭臬化，然后在场景和时间的双重推动下，使各个模块能够互相勾搭。

我之前提到过一个不雅点：咱们目下需要措置的是感知与限制的交融问题，也便是如何将感知和限制王人集成一个完整的系统。目下这两者仍然是割裂的。

举例，咱们的AI大脑和小脑之间的勾搭和数据传递，哪些数据能够将它们勾搭起来，酿成一个完整的系统？

自然，咱们也看到了当前的近况，在结构化或半结构化环境下，一些任务也曾具备了基本的应用落地可能性。

孙宇：相等感谢。我认为有一个方面相等深嗜，那便是无东谈主驾驶时间之是以能够赶紧发展，主淌若因为它的输入输出都也曾圭臬化了。不管是传感器照旧践诺器，都是一套相对圭臬化的系统。固然有些无东谈主驾驶使用雷达，有些不使用，有些使用录像头，有些使用各式不同的设备，但合座上的互异照旧相对较少的。至于视觉行径其实更少，它基本上是在一个三维空间中进行操作，这个维度相对较小。

但如果你望望东谈主形机器东谈主或其他类型的机器东谈主，它们的操作空间维度就多得多。而且传感器的踏实性也不尽相似。

今天的系统可能加多了一个触觉传感器，未来的系统可能引入了新的视觉效果，或者红外线传感器，或者其他类型的传感器。

这些传感器的安装位置也各不相似，有的安装在手上，有的可能安装在其他位置。这就导致了系统的复杂性。

此外，电机的动态特质也各不相似。

因此，总的来说，东谈主形机器东谈主系统或类似的系统比无东谈主驾驶系统要复杂得多。

06

畅想和配合

孙宇：在AI+机器东谈主领域，来日几年可能会出现哪些颠覆性的时间变革？或者认为有哪些主义是群众应该防御的？

李淼：因为我一直在从事抓取方面的研究，包括你提到的 IROS 挑战赛，我也连气儿参加了好几次，积攒了一些熏陶。

咱们渊博认为，在东谈主形手部这个研究方进取，尽管目下许多东谈主在师法 Optimus 进行硬件遐想，但咱们一直在念念考这个问题：以往咱们在进行抓取盘算时，可能更多地柔顺战争层面。但在总计抓取任务中，咱们施行上更应该开辟一个愈加通用和融合的战争层面措置决策，而不是仅限于特定手部的。

咱们应该戮力构建一个更大、更融合的系统，从感知到战争层面，涵盖抓取盘算的全面数据集或基准。我认为这可能是咱们这个领域，至极是在来日五年内措置把持问题时，需要戮力完毕的推敲。

这个过程有点像在自动驾驶中，至少需要在路上划出车谈线。如果莫得车谈线，那么自动驾驶的问题就会相对复杂化，莫得任何划定可循。

因此，我认为可以借此契机敕令，在后续的学术交流或与供应商的盘问中，尝试构建一个紧凑、丰富、多彩的大一统数据集。我认为这将口角常必要的一步。

张巍：对于通达性的建议或者说个东谈主体会，我想具体谈一谈。

目下，AI与机器东谈主王人集的研究主义无疑是一个充满后劲且至关迫切的领域，来日的发展出路令东谈主期待。鉴于目下从事这一研究的东谈主数，我认为这个领域仍然相等活跃，充满了创新的可能性。

关联词，不管是在学术界照旧工业界，我认为有一个需要明确的问题，那便是定位不清。有时候，学术界的东谈主在作念工程，而公司里的东谈主在作念学术研究，这种自负相等渊博。

群众共同的家具是一个 Demo ，它既不是一个家具的起始，也不属于学术研究。

我但愿从我个东谈主的角度，不管是在我的团队照旧咱们所在的公司中，咱们都应该明确我方的定位：咱们是企业照旧学术机构？企业应该作念什么，学术机构应该作念什么？

此外，咱们当前研究的问题是时间落地和家具化的问题，照旧时间探索的问题？这小数也需要弄涌现。

我防御到，这种自负也曾存在很万古刻，包括我的学生在内，他们认为如果某个领域的 Demo 也曾有东谈主作念过，那么这个领域似乎就要走到终点了。

但我认为，这些酷炫的 Demo，我称之为“莱特昆季时刻”，它们只是科研使命的初始。

别东谈主看到一个令东谈主印象深刻的 Demo，可能会以为机器东谈主领域也曾莫得什么可作念的了，但事实上，如何遐想翱游器、简直领会空气能源学、进行施行测试等深线索的使命，才是科研的简直初始。

这些令东谈主感触的视频或 Demo，施行上是科研使命的起始。

孙宇：确乎咱们不时在各式场面看到一些令东谈主印象深刻的Demo。

Demo 自身往往不会告诉你背后团队作念了哪些调养使命，而且Demo是处在一种受控的、笃定性的环境中。

比如 OpenAI 在舞台展示的一个 Demo，场景被设立在家庭环境中，舞台上头放了一个苹果，有东谈主问：“有什么可以吃的？”

那种情况下唯有一个苹果，机器东谈主只可拿给他一个苹果。

但如果这个东谈主说：“我不想吃苹果，你能给我一个橙子吗？”这时我就不知谈机器东谈主会如何作念。

或者如果有东谈主说：“我不想吃皮，你能帮我把皮剥了吗？”

我不知谈OpenAI的机器东谈主是否能够完成这些事情。

好多时候，一些看起来很酷的 Demo 可能会产生一定的误导性。但在工业界，咱们可能也需要果断到，有些东西其实还莫得完全准备好。

庞建新：我共享一下我的想法。多年来，我一平直力于于东谈主工智能时间与东谈主、机器东谈主的交融研究。在此期间，我也有幸与一些学术机构，包括张巍针织等进行过合作。

我一直盼望能够促进学术界、工业界之间的深入互动。这种互动不应只是局限于特定课题或样貌，而是但愿学术界的针织们能与工业界的同业们一谈，基于某些施行场景共同探讨科学问题。

咱们可以明确单干，共同措置当前工业界和学术界靠近的问题。工业界的同仁们也相等首肯提供相应的环境和场景，以便群众共同探讨。这是我向群众发出的倡议。

孙宇：感谢诸君的共享和参与。确乎，工业界与学术界的交流能够带来许多深嗜且具有挑战性的问题。在施行应用中，咱们可以发现许多尚未措置的资源问题，而工业界也能从学术界得回新的灵感，了解哪些理念可以落地实施，以及研究的简直难点所在。

由于时刻关系，咱们今天的盘问就到这里终端。

相等感谢诸君嘉宾在本次圆桌论坛中的精彩共享。同期，也感谢雷峰网提供这么一个平台，让群众有契机交流各式不雅点，至极是对于当前热门话题——AI与机器东谈主时间的多角度细察和心多礼会。

但愿咱们的盘问，能够对不雅众以及来日不雅看视频的一又友们有所匡助，并期待这些交流能够促成一些施行的合作。

本文作家 吴彤 历久柔顺东谈主工智能、生命科学和科技一线使命者，习尚系统完整纪录科技的每一次高出，宽饶同谈微信交流：icedaguniang

专访优必选庞建新：在大模子期间推动机器东谈主智能化丨GAIR live

对话武汉大学李淼教授：以大模子视角看待一切机器东谈主问题丨GAIR live

从实验室到现实，AI+手语识别，路向何方？丨GAIR live