导读：2023国家机器人发展论坛（CAA菁英系列活动）于2023年6月17-18日在广东深圳召开，坛以“集群促发展，创新向未来”为主题，聚焦智能机器人产业，邀请多位行业领军人物同台，助力打造世界级先进制造业集群。会上，中国自动化学会会士、理事、浙江大学熊蓉教授，作题为“人形机器人研究进展与发展挑战”的大会报告，重点介绍了人形机器人的研究背景与意义、研究历史与进程的基础上其团队在人形机器人系统研制、运动控制、智能移动等方面开展的工作和进展等内容。
人形机器人，也被称为仿人机器人，是一类具有人类外形、模仿人类功能和智能的机器人。与其他机器人相比，它的区别在于拥有人类外形，包括双足、双臂和头部。这种外形使得人形机器人在人类的工作和生活环境中具有更强的通用性和适应性。它能够适应人类环境的不连续性，像人类一样使用自己创造的工具，从而能够实现人与机器人的无缝衔接和替换。此外，人形机器人的人类外形也更容易被人们接受，在人机交互过程中起到重要的作用。
一、研究背景与意义
人形机器人领域是机器人领域中一个重要的技术挑战点，甚至被称为国与国之间技术竞争的制高点。首先，它涉及到机器人的各个方面的关键技术以及这些技术的集成和融合。从系统角度看，人形机器人是一个高自由度的复杂系统。其制造、设计、建模和规划都涉及到许多问题，如驱动和传动的实现、感知与决策的融合，以及软硬件的有效融合等。
从运动的角度看，人形机器人是以脚为支撑点与地面进行间断性接触的。它的脚与地面接触的空间很小，时间也很短，这导致了稳定控制的时空域非常有限。同时，人形机器人面临建模的不准确性、地面的不平整性以及作业过程中各种位置干扰等问题，如图1所示，由于其本质上不稳定，从而在应用中面临着许多困难。上世纪60年代到本世纪2015年，学术界主要关注的问题都是围绕如何设计制造具有稳定运动能力的人形机器人展开研究。
图1 人形机器人的技术难点
随着这些关键技术的逐步解决，我们目前的焦点已经扩展至如何将人形机器人应用于多样化的场景中。这与其他机器人技术的发展趋势相似，机器人需要应对各种不同的环境，并能够适应各种特定需求，另外，还需要具备通用性，能够在这种形态下执行各种任务。
总的来说，人形机器人给机器人技术的各个方面都带来了挑战，并推动了相关零部件和技术的发展。从电机、传动到液压器件，它对机器人领域和产业的发展起到了积极的推动和支持作用。
二、研究历史与进程
下面简要介绍一下整个人形机器人的发展历程，其发展历史如图2所示。第一台人形机器人诞生于1969年，由日本早稻田大学研制，它采用液压驱动，驱动部件庞大且重量较大，并且都放置在机器人的外部，采用的是静态行走方式，每步行走距离为15厘米，需要约40秒的时间。随后，许多研究机构开始进行人形机器人的研究。在80年代，出现了两个对当前发展起到了重要基础作用的团队。其中一家是本田公司，于1986年开始研究人形机器人，注重系统设计和动态运动方面的研究。2000年，本田公司的研究取得了重要突破，推出了ASIMO人形机器人。ASIMO能够以每小时1.6公里的速度行走，其研发过程中采用了直流电机和谐波减速器等关键技术，这对相关产业的发展起到了重要推动作用。另一个重要的团队是来自麻省理工学院（MIT）的Marc Raibert在1986年提出的动态行走理论。这一理论的提出为后来波士顿动力公司的成立以及其研发的四足和双足机器人打下了坚实的基础。这一阶段可以称为基础理论与系统形成的阶段。
图2 人形机器人的研究历史
2000年之后，人形机器人的研究取得了更多的进展。例如，ASIMO等研究机构不断优化和改进机器人的行走速度，并引入了人机运动映射技术，使机器人能够执行更复杂的动作。同时，研究人员进一步结合智能技术，使机器人具备与人类进行交互的能力，例如为人端茶递物。自2009年起，波士顿动力公司开始致力于满足美军的需求，并在福岛核电站事故后开始研究高动态运动的人形机器人，以便执行特种任务。这一阶段研究领域形成了不同的技术流派，包括多种不同的平衡控制技术以及不同的驱动技术。这些技术的发展使得人形机器人的技术变得多样化且具有广泛的应用前景。在2022年特斯拉所发布的人形机器人，马斯克关于人形机器人方面的一系列的规划、布局，引起了世界的广泛关注。
从上个世纪90年代开始，国防科技大学、北京理工大学以及其他高校、研究机构和企业也都积极投身于人形机器人领域的研究。浙江大学自2006年起着手研究人形机器人，并以踢足球的小型仿人机器人作为起点，积累相关技术，并成功将智能感知、定位、导航规划等能力融入其中。
2008年至2011年期间，我们在国家“863”重点课题的支持下成功研制了一款能够与人或其他机器人进行兵乓球对打的仿人机器人，如图3所示。这款机器人具有成人大小，身高1.65米，重量56公斤。该项目的突破之处在于设计了轻量化的机械结构，并实现了30个自由度的高实时控制。针对乒乓球这种高速运动的飞行物体，浙大团队解决了在线准确识别定位和轨迹预测的问题，同时还实现了实时运动规划和全身平衡控制，以应对手臂大加速度带来的不稳定性。该成果在发布后引起了国内外广泛关注，包括国外知名媒体对其进行了报道和拍摄。此外，该成果还被收录进美国基金委向奥巴马政府提交的工作报告中，进一步彰显了其重要性和影响力。
图3 浙江大学人形机器人研究
但是机器人打球的过程中，主要依靠下肢来进行平衡控制。由于行走速度仅达到1.2公里/小时，无法跟上快速打球的节奏。因此，从2012年开始，我们的研究重点转向如何提高机器人的行走速度，并使其能够在室内外不平整的地面以及各种未知扰动下行走。同时，还着重考虑了上肢运动的结合，为机器人的发展奠定了基础。
过去的10年时间里，浙大团队进行了大量的研究工作，包括驱动系统、传动系统、机构设计、控制方法以及运动学习和生成等方面。目前，机器人已经实现了6.6公里/小时的行走速度，可以在室内外不平整的地面上自主适应和适应大的外力扰动，能够上下15度的斜坡，并可以跳下20厘米高的台阶。
三、关键技术与进展
在人形机器人的技术发展中，我们按照系统集成、运动和未来作业需求的角度进行了划分，分别称为体能、技能和智能。在体能方面，我们探索了不同的技术路线，如图4所示。一种方法是采用直流电机+谐波减速器+弹性单元的组合，以实现高效的弹跳能力。然而，这种弹性元件的变化也带来了许多挑战。因此，在2015年之后，浙大团队开始采用四足机器人中常用的大间隙半径电机，通过力位的伺服控制来驱动机器人。
图4 关节运动方式
在人形机器人的技能方面，我们重点关注它的稳定平衡运动能力，并进行了相关的研究工作。目前，主要有两种方法：一种是传统的基于模型的方法，通过建立机器人的运动学和动力学模型，进行摆动腿的轨迹规划，进而开展平衡控制。除了传统的方法，另一种是采用学习的方法，如模仿学习和生成学习，来生成机器人的运动和控制策略。
稳定平衡控制是其中最核心的问题，在整个发展过程中涌现出多种方法，如图5所示，并都发挥了重要作用。其中，ASIMO采用了ZMP判据的控制方法，密歇根大学等采用混杂零动态规划方法实现机器人状态在稳定平面上的控制， Marc Raibert等人提出了虚拟模型的解耦控制方法。这些方法各有优缺点，前两者依赖于精确的动力学模型。
图5 基于模型的稳定平衡控制
通过研究，我们发现虚拟模型控制方法在降低对精确模型依赖性方面取得了进展。然而，在复杂环境下，虚拟模型控制的容错性存在限制。因此，我们进行了相关研究，并借鉴人类保持平衡时的行为策略。与传统方法不同，人类在受到扰动时采用踮脚的方式来保持稳定，从而缩小了稳定域的范围。我们在理论上证明，只需保持在稳定域边界上即可实现稳定性，而不需要较大的稳定域和支撑域。进一步，基于虚拟模型的思想，我们提出了一种通过足部倾斜主动控制来增加稳定域的方法，如图6所示。在人形机器人上成功实现了该方法，并发表了高水平的论文。然而，人形机器人在多个虚拟模型的结合和协调方面存在一定限制，以及在不同场景下设计不同虚拟模型的通用性的挑战。
图6 虚拟模型下主动欠驱动平衡控制
所以，采用模型预测控制和全身控制的方法可以提高人形机器人的动作稳定性和协调性，如图7所示。这种方法基于轨迹规划和刚体动力学建模，通过模型预测控制计算地面反作用力和力矩，并结合全身控制生成关节力矩。通过该集成控制策略，我们能够更准确地预测和调整机器人的运动，使其能够在复杂环境中实现稳定的运动和协调的动作。在仿真环境中已经实现了一些复杂动作，如跳跃和后空翻，但仍需要进一步提升关节力矩以实现更高水平的执行能力。我们将继续努力改进和优化控制方法，以进一步提升人形机器人的运动能力和执行复杂动作的能力。
图7 全身协调模型预测控制
此外我们有两项工作对研究机器人控制方法起到了关键作用。首先，我们致力于在线辨识动力学参数，以确保准确建立模型，适应机器人在运动过程中构型和动力学参数发生变化等复杂情况。引入随机变量后验概率估计的方法后，通过定义随机变量的向量空间以及相关的数据结构和投影运算，可以实现一种级连式的估计方法。对于每个关节模块，可以建立运动模型和等效辨识模型，并进行迭代运行。在单腿和双腿的情况下，包括腿部质量变化和外部负载变化等扰动，该方法的具有较好的有效性。
然而，仅仅依靠模型预测控制可能无法有效应对大扰动，因此，在2009年浙大团队提出了一种方法，如图8所示，通过建立速度与着地点之间的关系，将扰动转化为速度变化，并根据这些速度确定适当的着地点。将这一方法与之前的控制方法相结合，可以实现了在面对大幅扰动时的稳定平衡控制。
图8 基于速度感知的动态落脚点规划
近年来，深度学习和强化学习的发展为人形机器人的平衡控制提供了新的方法，如图9所示。在国内外的研究中，人们致力于利用强化学习来实现人形机器人的平衡控制。例如，在四足机器人领域，苏黎世理工学院等机构开展了大量研究工作。在人形机器人领域，美国的Oregon州立大学等研究机构也进行了各种研究，包括提高机器人在不同地面上运动的鲁棒性，如转弯、上下台阶以及走梅花桩等动作。此外，研究人员还关注如何根据感知信息提升运动的准确性，并使机器人能够适应复杂的环境变化。这些研究都为人形机器人的平衡控制领域做出了重要贡献。
图9 采用学习的稳定平衡控制
浙大团队之前研究了四足机器人步态学习，采用强化学习方法进行步态生成，并提出了一种步态生成网络，以整合各种步态，可根据机器人当前的状态选择适宜的步态。这一网络使机器人能够在面对未知环境时做出合适的步态选择，并通过综合多种步态以适应环境变化，从而在新环境中展示出灵活的行动能力。该研究为机器人应对各种挑战并在新环境中表现出优异的适应性提供了有益的探索和成果。
然而，在应用纯强化学习方法于人形机器人时，由于人形机器人具有相对较小的稳定时空域，这导致获得稳定案例和进行迭代学习的速度较慢。因此，我们提出了将模型方法与学习方法相结合的策略，如图10所示。通过采用启发式模型来规划摆动腿的运动，该模型对支撑腿的参数高度依赖，而对于参数依赖较强的情况，可以采用学习方法。通过串并联混合的方法，加速了学习过程，并提高了对质量、扰动和噪声等因素的鲁棒性。然而，人形机器人仍然容易受到地面不平整等因素的影响。为此，需要引入了隐藏空间的学习，采用教师-学生模型，通过从一些优秀模型中学习隐藏空间的映射关系，可以进一步提升机器人稳定性。目前，浙大人形机器人已成功实现了在15-18厘米地形起伏的不同环境下稳定行走，并达到了3公里/小时的速度。
图10 模型-学习混合的双足步行运动生成
此外，在运动学习和强化学习生成方面，浙大团队也做出了一定的贡献。通过图神经网络构建学习模型，并结合最优化搜索，在编码后的隐藏空间中寻找最佳匹配，之后进行最优化搜索，以实现对大型动作序列的快速学习，如图11所所示。结果显示，学习时间提升了10-100倍，同时动作相似性评估也有了显著提升。
图11 隐空间优化的映射学习
此外，我们扩展了研究范围，将其应用于不同的结构中。对于包括动画角色在内的多样化动作，可以解决其在拓扑结构上的差异性。在与此相关的数字虚拟人研究中验证，能够成功地迁移至未曾接触过的拓扑结构，并在已有结构上实现更优秀的接触和穿模。进一步地，我们开始将动力学约束融入研究中，并在仿真环境中成功地将之前学习到的知识应用于新的结构中。
最后，我们还开展了智能移动和智能操作方面的研究。自2003年以来，浙大一直在这个领域进行研究，并在各种机器人应用中进行了验证，包括工业机器人、无人驾驶车辆以及特殊环境。结合腿足机器人，团队还专注于以下方面的进一步研究：首先如何构建大范围全局一致的稠密高程地图，如图12所示；其次，为解决足式运动引起的震荡问题、足式运动所带来的计算资源限制，以及在特殊环境中纹理稀缺或传感器失效的情况下如何选择适合的传感器和传感器融合问题；以及如何规划落脚点。
图12 大范围全局一致稠密高程地图构建
在操作方面，聚焦于感知、力位控制、序列生成和语义动作生成等方面的研究，并探索如何将这些工作应用于人形机器人。总体而言，我们的下一步研究旨在实现智能操作和移动与人形机器人运动的综合。
四、进展机遇与挑战
在当前的背景下，我国也在积极探索人形机器人技术与产业化的发展。除了浙江大学，还有许多研究机构致力于人形机器人的研究，整体技术积累十分丰富，但仍有一些技术需要突破。与国际水平相比，在集成方面存在一定差距。具体需要突破的技术包括零部件方面，如关节的高力矩能力和灵巧手；智能感知、协同作业以及系统安全，包括机器人自身安全、交互安全和信息安全等方面；另外还有软硬件集成方面的挑战，需要实现高度融合、轻量化、稳定性和可靠性。这些都是需要进一步攻克的技术难题。
从产业链的角度来看，多年来机器人和汽车产业链为人形机器人的发展提供了基础。然而，与其他产业链相比，人形机器人的产业链更为复杂和长链条。如何实现在众多技术领域的紧密结合，并形成产学研用的协同机制，是一个重要的问题。
在人形机器人的研发方面，国外已经在控制器、仿真软件开发平台、大型训练平台和数据集等方面做了大量工作，形成了相对完善的生态体系。然而，我们在这方面的大部分研究仍然依赖国外平台，因此迫切需要建立自己的工具链和生态体系。
在人形机器人的产业化过程中，供应链管理和低成本制造是重要的考虑因素。然而，与此同时，如何确保人形机器人具备高性能，并应对其作为新型复杂系统所带来的制造工艺等挑战也是需要解决的问题。
自2000年开始机器人研究，并于2006年开始专注于人形机器人研究以来，浙大团队经历了人形机器人领域的高潮和低谷。尽管遇到了挑战，但我们仍在坚持不懈地推动我国在人形机器人技术和产业方面的发展。
