具身智能机器人系统

《具身智能机器人系统》是探索未来机器人技术的必读入门普及读本！

本书由四位一线专家联合撰写，不仅阐述了传统机器人与具身智能机器人之间的联系与区别，还全面剖析了具身智能机器人的背景知识、基础模块、大模型应用及计算挑战。

本书还探讨了具身智能机器人的最新研究成果，以及它在医疗、工业、家庭等领域的广阔应用前景。

无论您是机器人技术的专业人士，还是对未来发展充满好奇的读者，这本书都能为您提供深刻的洞见和前沿的技术指导。

立即阅读，开启您的具身智能机器人探索之旅！

大模型技术的突飞猛进，给机器人技术注入了新的活力。具身智能机器人这个概念，尽管已经存在了超过三十年，但现在又重新引起了学术界和工业界的大量关注。从作者们长期在机器人计算方面的研究基础出发，本书希望帮助读者理解具身智能机器人和传统机器人计算之间的关系，判断未来具身智能机器人的发展方向。本书既包括了传统的机器人计算栈，又囊括了具身智能大模型给机器人计算带来的变化和可能的挑战。本书在写作过程中，强调了面向读者的普适性。具有一定工程数学、计算机科学的基础知识的读者，均可以阅读并理解本书的内容。

·甘一鸣·

中国科学院计算技术研究所助理研究员，博士毕业于美国罗切斯特大学计算机学院，研究方向为计算机体系结构，具体方向为面向机器人应用的专用芯片设计、自主机器系统的高效性与鲁棒性、集成电路设计自动化等。

·俞 波·

深圳市人工智能与机器人研究院（AIRS）具身智能中心研究员，研究方向包括具身智能机器人和无人驾驶计算系统。

·万梓燊·

美国佐治亚理工学院博士生，研究方向为计算机体系架构和软硬件协同设计，侧重面向智能体和机器人计算的高效鲁棒系统-架构-电路协同优化。

·刘少山·

深圳市人工智能与机器人研究院（AIRS）具身智能中心主任，IEEE国际设备和系统路线图-机器人计算方向主席，ACM技术政策委员会成员。研究方向包括具身智能、机器人计算、无人驾驶、科技政策等。

《具身智能机器人系统》很好地探索了具身智能系统研究的前沿，重点关注创新算法、系统软件、计算机架构、数据生成、分析及具身智能系统在现实场景中的实际应用，是一本很好的具身智能入门教材。

Jean-Luc Gaudiot

Distinguished Professor, UC Irvine

IEEE Fellow, AAAS Fellow

IEEE Computer Society President 2017

《具身智能机器人系统》是一本对人工智能、机器人技术和计算系统交叉领域感兴趣的读者来说不可或缺的书。这本书深入探讨了具身智能这一结合物理机器人和智能算法的领域，该领域正在塑造自主系统及其应用的未来。无论您是研究人员、工程师，还是对这一领域充满热情的爱好者，相信本书都能使您收获具身智能机器人的知识与见解，并助您在这一快速发展的领域做出贡献。

Arijit Raychowdhury

Chair and Professor, Georgia Institute of TechnologyIEEE Fellow

具身智能技术的迅速发展需要跨学科的合作与交流，本书在这方面提供了宝贵的平台。通过系统地梳理和介绍现有技术和方法，本书为制定行业标准提供了参考，有助于推动技术的标准化和规范化发展。对于高校和科研机构的学生和研究人员来说，本书既是学习资源，也是培养专业人才的宝贵教材。

丁宁博士

深圳市人工智能与机器人研究院常务副院长

第1部分 具身智能机器人背景知识
第1章 自主经济的崛起：具身智能机器人的影响与发展 2
1．1 产业发展概况 3
1．1．1 国际产业发展现状 3
1．1．2 国内产业发展现状 6
1．2 问题与挑战 6
1．2．1 应用场景的不确定性 7
1．2．2 产业链成本高企 7
1．2．3 系统集成难度较大 7
1．2．4 数据瓶颈 8
1．2．5 伦理规范 8
1．3 小结 9

第2章 具身智能机器人的历史与未来 10
2．1 何谓具身智能 10
2．2 具身智能发展历史 11
2．3 具身智能的传统技术方向 12
2．3．1 基于行为的人工智能 12
2．3．2 受神经生物学启发的人工智能 13
2．3．3 认知发展机器人学 13
2．3．4 进化机器人学 14
2．3．5 物理体现与互动 15
2．4 基于大模型的具身智能技术 16
2．4．1 赋能具身智能机器人的基础大模型分类 17
2．4．2 具身智能机器人设计自动化 17
2．5 小结 19

第2部分 具身智能机器人基础模块
第3章 机器人计算系统 21
3．1 概述 21
3．2 自主机器人计算系统 22
3．3 自动驾驶 25
3．3．1 自动驾驶简史 25
3．3．2 自动驾驶计算系统 26
3．4 具身智能机器人 32
3．4．1 从自动驾驶到具身智能 33
3．4．2 具身智能计算系统 34
3．5 小结 36

第4章 自主机器人的感知系统 38
4．1 概述 38
4．2 物体检测 38
4．3 语义分割 41
4．4 立体视觉与光流 43
4．4．1 立体视觉与深度估计 44
4．4．2 光流 45
4．5 鸟瞰视角感知 49
4．5．1 基于激光雷达的BEV 感知 49
4．5．2 基于相机的BEV 感知 51
4．5．3 基于融合的BEV 感知 55
4．6 小结 57

第5章 自主机器人的定位系统 58
5．1 概述 58
5．2 自主机器人的定位任务 59
5．3 自主机器人的定位原理 61
5．3．1 自主机器人定位系统分类 61
5．3．2 自主机器人定位算法原理 63
5．4 自主机器人定位的计算系统 69
5．4．1 多传感器数据对齐 69
5．4．2 自主机器人定位的计算平台 71
5．5 小结 72

第6章 自主机器人的规划与控制系统 73
6．1 概述 73
6．2 路径规划和轨迹规划 74
6．2．1 路径规划 74
6．2．2 轨迹规划 76
6．2．3 变分方法 77
6．2．4 图搜索方法 79
6．2．5 增量搜索策略 80
6．3 基于强化学习的规划与控制 83
6．3．1 强化学习基本原理 83
6．3．2 基于强化学习的规划与控制方法 85
6．4 小结 88

第3部分 具身智能机器人大模型
第7章 具身智能机器人大模型 91
7．1 概述 91
7．2 ChatGPT for Robotics：故事的开始 92
7．2．1 背景与工作动机 92
7．2．2 ChatGPT 解决机器人控制问题的突出能力 92
7．2．3 ChatGPT for Robotics 的设计原则和工作流程 94
7．2．4 贡献与局限性 95
7．3 Robotic Transformers：多模态大模型的应用 96
7．4 未来工作发展方向 98
7．4．1 小模型的成功 99
7．4．2 更多的模态 101
7．5 小结 102

第8章 大模型用于机器人计算，颠覆还是进步 103
8．1 概述 103
8．2 从算法开发者角度看具身智能大模型 103
8．2．1 具身智能机器人在医疗领域的应用 103
8．2．2 具身智能机器人在工业生产中的应用 106
8．2．3 具身智能机器人在家庭环境中的应用 107
8．3 给机器人接上大脑？从机器人系统开发看具身智能大模型 109
8．4 具身智能大模型的现状：成功率、实时性、安全性及其他 110
8．5 小结 112

第9章 构建具身智能基础模型 114
9．1 背景知识 114
9．1．1 元学习 114
9．1．2 上下文学习 115
9．1．3 模型预训练 115
9．1．4 模型微调 116
9．2 具身智能基础模型 117
9．3 关键选择及利弊权衡 118
9．4 克服计算和内存瓶颈 119
9．5 小结 120

第4部分 具身智能机器人计算挑战
第10章 加速机器人计算 122
10．1 概述 122
10．2 机器人定位模块加速 122
10．3 机器人规划模块加速 127
10．4 机器人控制模块加速 134
10．5 因子图：机器人加速器的通用模板 136
10．6 小结 146

第11章 算法安全性 147
11．1 概述 147
11．2 人工智能安全：横亘在算法与应用之间的绊脚石 148
11．3 深度神经网络的攻击与防御 149
11．3．1 逃逸攻击 149
11．3．2 投毒攻击 151
11．3．3 探索攻击 152
11．3．4 防御方法 152
11．4 大模型中的安全问题 153
11．5 大模型安全隐患VS． 具身智能机器人安全 156
11．6 小结 157

第12章 系统可靠性 158
12．1 概述 158
12．2 机器人系统的可靠性漏洞 158
12．2．1 机器人本体的可靠性漏洞 158
12．2．2 机器人计算系统的可靠性漏洞 160
12．3 提升系统鲁棒性的常见方法 164
12．4 自适应冗余方法：提升鲁棒性的同时降低系统负担 166
12．5 小结 169

第13章 具身智能的数据挑战 170
13．1 具身智能的数据价值 170
13．2 具身智能的数据瓶颈 171
13．3 AIRSPEED 系统设计 173
13．4 具身智能数据采集端点 175
13．5 仿真服务 176
13．6 数据对齐服务 177
13．7 小结 178

第5部分 具身智能机器人应用案例
第14章 实例研究 180
14．1 系统设计 180
14．2 系统效果 185
14．3 小结 187

后记：总结与展望 189

参考文献 192

本书内容

本书共分5个部分。

第1部分（第1章和第2章）介绍具身智能机器人的背景知识。第1章讨论具身智能机器人对经济的影响，特别是具身智能机器人如何在自主经济中发挥作用，包括其对不同产业的推动作用、提升效率和创造新的经济机会的潜力，还探讨了自主经济的概念及其与具身智能机器人的关系。第2章介绍具身智能机器人的历史与未来，回顾具身智能机器人从诞生到现在的发展历程，介绍关键技术的突破和里程碑事件，同时，展望未来的发展趋势和可能的技术方向。

第2部分（第3章∼第6章）介绍具身智能机器人的基础模块，涵盖机器人计算系统、自主机器人的感知系统、定位系统及规划与控制系统的详细内容。首先，介绍机器人计算系统的架构和关键组件并探讨如何通过设计和优化满足机器人的计算需求。接着，深入分析自主机器人的感知系统，涵盖多模态传感器技术及其数据处理算法，展示如何实现环境感知、物体识别和场景理解。随后，详细介绍自主机器人的定位技术，如GPS、惯性导航系统、视觉定位和激光雷达等，分析各类技术的原理、优劣和适用场景。最后，探讨自主机器人的规划与控制系统，包括路径规划、运动控制、任务分配和决策算法，阐述这些系统如何支持机器人的自主行动和任务执行，特别是在复杂环境中的应对策略。

第3部分（第7章∼第9章）对具身智能机器人大模型进行全面综述，涵盖其发展现状和前沿研究，详细介绍大模型的构建方法、训练数据、模型架构和优化技术。探讨大模型在机器人中的多种应用，如自然语言处理、多模态感知等方面。进一步分析大模型在机器人计算中的具体应用，评估大模型在计算能力、数据需求和实际应用中的优势与挑战。讨论大模型是会带来颠覆性变革，还是对现有技术的渐进性改进，并展望其未来的发展方向。此外，详细介绍构建具身智能基础模型的基本方法和步骤，包括数据采集、预处理、模型训练和评估，探讨如何构建具有泛化能力和高效能的基础模型，以支持各种具身智能应用。这些内容共同为读者提供了对大模型驱动的具身智能机器人技术的深刻理解和全面认识。

第4部分（第10章∼第13章）深入探讨提升机器人计算实时性、算法安全性、系统可靠性及具身智能数据挑战的具身智能机器人系统研究的各个方面。首先，介绍通过硬件加速和算法优化提升机器人计算实时性的技术，分析这些技术在提高计算效率、降低延迟和满足实时性需求方面的效果。接着，讨论算法安全性问题，包括算法的鲁棒性、对抗攻击防御和隐私保护等，介绍设计和实现安全可靠算法的方法，以确保机器人在复杂和潜在危险环境中的安全运行。随后，分析系统可靠性的关键因素，探讨如何通过软硬件冗余、系统测试和验证等方法提升机器人的系统可靠性，介绍提高系统可靠性的方法和最佳实践。最后，探讨具身智能在数据采集、处理和分析中的挑战，包括数据质量、数据安全和隐私保护等问题，讨论应对这些挑战的方法和技术，如数据对齐、仿真技术等。这些章节共同为读者提供了关于如何构建和维护高效、安全和可靠的具身智能机器人系统的全面指导。

第5部分（第14章）通过一个实际案例的应用研究对本书提到的概念进行总结，作者实际构建了一个具身智能机器人计算系统，用于室内仓储环境下的物体获取、放置、归纳等任务。本章首先对系统设计进行介绍。随后，对比这个系统和一些常见的具身智能机器人系统，在任务成功率、算力需求等场景下的表现，供读者参考。

最后，作者对全书进行总结，并且对具身智能机器人未来的发展进行展望。

致谢

本书作者在从事机器人系统研究工作期间，在机器人计算这一领域投入了大量的时间与精力，发表了大量的学术成果。作者的工作广泛地分布于机器人系统的各个方面，如机器人软件测试基准、机器人计算系统的实时性研究、机器人计算系统的可靠性，等等。作者投入这一领域时，该领域还比较冷门，在一段时间之内，国际与国内的学术圈都只有少量的学者在这个方向耕耘。当具身智能、“大模型+机器人”这些话题在2023 年成为大量学术工作者口中通往通用人工智能的关键环节时，本书的作者开始撰写本书。书中系统地总结了在机器人计算领域，作者多年的科研和工作经验，通过大量的实际样例，试图向读者展示一个完整的机器人计算系统的全部组件。同时，顺应当前的思想潮流，将多模态大模型引入机器人计算栈，并从实时性、安全性、可靠性、数据采集等多个方面，向读者展示具身智能赋能之下，机器人计算新的、可能的发展方向。

相比传统的大模型算法或具身智能算法书，本书具有两个特色。第一，作者花费了大量的精力介绍实际的计算系统，这个系统包括硬件、操作系统、编译器、软件和算法实现。一方面，作者的技术背景侧重系统领域，研究的工作也偏向计算系统。另一方面，作者坚持认为，在具身智能机器人领域，算法是与计算系统紧密地耦合的，算法设计者需要考量底层系统的实现，而底层系统的设计者也需要面向算法提供更高效、更高算力的计算系统。第二，作者花费了相当的笔墨在计算系统上，因为作者持有一个有趣的观点，即无论是个人计算、移动计算或者云计算的爆发，都起源于半导体技术的发展。半导体技术的进步带来了更多有趣、有意义的应用，再由应用拓展出更大的市场。机器人计算也会遵循同样的潮流，但现在机器人计算的发展远远没有达到上述两者的规模，重要瓶颈在于当前机器人计算系统的绝大部分算力仍被用于基础功能。当前，机器人计算系统设计将机器人计算能力的50%用于感知，20% 用于定位，25% 用于规划，仅有5% 用于应用。这与移动计算时代初期功能手机的情况非常相似。在这样的计算能力分配下，不可能让机器人执行智能任务，也就是说，目前机器人计算的生态系统几乎不存在。因此，提升机器人芯片的算力，让包括感知、定位和规划在内的基本操作消耗不到20% 的计算能力，从而将80% 的计算能力留给智能应用。只有这样，才能释放软件开发人员的想象力，形成机器人应用的生态系统。

本书的成书过程，离不开众多单位及合作者的帮助，他们是中科院计算所的韩银和教授，深圳市人工智能与机器人研究院常务副院长丁宁博士，香港中文大学（深圳）的徐扬生校长，道合投资的叶伟中博士，Prof. Yuhao Zhu（Universityof Rochester），Prof. Vijay Janapa Reddi（Harvard University），Prof. Arijit Raychowdhury（Georgia Tech），Prof. Tushar Krishna（Georgia Tech），Prof.Jean-Luc Gaudiot（UC Irvine）。感谢龙岗区深圳创新“十大行动计划”配套项目的资助（项目编号：LGKCSDPT2024002）。在写作过程中，由于篇幅限制和作者自身学术理解的不足，对许多问题并没有更深入地挖掘、更系统地阐释。

希望本书能够起到抛砖引玉的作用，为领域内的相关初学者提供启发。