嵌入式人工智能 pdf下载

本书作为国内第一部全面介绍嵌入式人工智能这一新兴领域的著作，内容丰富详实、结构清晰合理、兼顾原理分析和实践应用，具有较高的参考价值。可作为有志于研究和实现嵌入式人工智能的学生、工程师及相关人员的入门读物和参考书。

本书将近距离观察嵌入式人工智能的**进展，总结嵌入式人工智能的原理、实现方法和途径，介绍嵌入式人工智能芯片及开发平台，并针对典型应用进行深入研究和详细介绍。

李斌，北京理工大学模式识别与人工智能专业硕士，曾在多家著名IT/互联网企业担任关键技术岗位。是20余篇国内外发明专利的第一发明人，研究领域涵盖网络通信、人工智能、智能硬件等。

第一篇原理

第1章人工智能与人工神经网络3

1.1什么是人工智能3

1.2什么是人工神经网络4

1.3人类大脑5

1.4人工神经网络的基本构成7

1.4.1人工神经元7

1.4.2人工神经网络的结构8

1.5人工神经网络的学习机制9

1.6人工神经网络的类型10

1.7人工神经网络的优势24

1.8深度神经网络25

1.8.1什么是深度神经网络25

1.8.2常见的深度神经网络27

1.8.3卷积神经网络27

1.9神经网络架构搜索31

1.9.1搜索空间31

1.9.2强化学习搜索32

1.9.3渐进式搜索33

1.9.4离散搜索35

1.10迁移学习37

1.10.1什么是迁移学习37

1.10.2迁移学习的类型38

1.10.3迁移学习的优势39

1.10.4迁移学习的方式40

1.10.5迁移学习与嵌入式人工智能40第2章嵌入式人工智能41

2.1什么是嵌入式人工智能41

2.2为什么需要嵌入式人工智能42

2.3最初的尝试: 云计算模式45

2.4从云端到设备: 本地模式47

2.5嵌入式人工智能的技术挑战50

2.6嵌入式人工智能的实现途径53

目录2.7嵌入式人工智能的实现组件54第3章嵌入式AI芯片原理56

3.1并行计算56

3.2脉动阵列57

3.3多级缓存59

3.4数据流60第4章轻量级神经网络64

4.1降低计算复杂度64

4.1.1分组卷积65

4.1.2深度方向卷积65

4.1.3点向卷积66

4.1.4深度可分离卷积66

4.1.5通道乱序混合67

4.2SqueezeNet67

4.2.1核心思想67

4.2.2网络结构68

4.2.3性能70

4.3Xception70

4.3.1核心思想70

4.3.2网络结构71

4.3.3性能71

4.4MobileNet v172

4.4.1核心思想73

4.4.2网络结构73

4.4.3性能74

4.5MobileNet v275

4.5.1核心思想75

4.5.2网络结构75

4.5.3性能77

4.6MnasNet77

4.6.1核心思想78

4.6.2网络结构78

4.6.3性能80

4.7MobileNet v381

4.7.1核心思想81

4.7.2网络结构81

4.7.3性能83

4.8轻量级神经网络的应用84第5章深度神经网络压缩86

5.1神经网络压缩的一般方法86

5.1.1剪枝86

5.1.2权重共享88

5.1.3量化90

5.1.4二值/三值化92

5.1.5Winograd卷积93

5.2压缩编译协同设计94

5.2.1压缩编译协同设计的概念94

5.2.2压缩器95

5.2.3编译器98

5.2.4压缩编译协同设计的优势99第6章嵌入式神经网络应用程序框架101

6.1分层级联系统的构成102

6.2分层级联系统的效率103

6.3基于CNN的分层人脸识别系统104

6.4本地云协同模式107第7章终生深度学习109

7.1传统深度学习的缺陷及原因109

7.2终生深度学习的目标111

7.3终生深度学习的特性112

7.4神经生物学的启示112

7.5终生深度神经网络的实现113

7.5.1双重学习系统113

7.5.2实时更新114

7.5.3记忆合并115

7.5.4适应真实场景115

7.6终生深度学习与嵌入式神经网络117

第二篇平台

第8章嵌入式神经网络硬件加速器121

8.1概述121

8.2NVIDIA Jetson122

8.2.1Jetson模块简介122

8.2.2Jetson模块内部结构124

8.2.3Jetson性能133

8.3Intel Movidius136

8.3.1Movidius Myriad X VPU芯片137

8.3.2Intel Movidius神经计算棒141

8.4Google Edge TPU142

8.4.1Google Edge TPU简介142

8.4.2Google Edge TPU工作原理144

8.5XILINX DPU151

8.6ARM Ethos NPU157

8.6.1ARM机器学习处理器157

8.6.2EthosN系列159

8.6.3EthosU系列161

8.7小结163第9章嵌入式神经网络软件框架166

9.1TensorFlow Lite166

9.1.1TensorFlow Lite简介166

9.1.2TensorFlow Lite工作原理168

9.2TensorRT170

9.2.1TensorRT简介170

9.2.2TensorRT如何应用174

9.3OpenVINO176

9.3.1OpenVINO简介176

9.3.2OpenVINO的构成177

9.3.3OpenVINO应用开发178

9.4XILINX Vitis180

9.5uTensor184

9.6Apache TVM186

9.7小结188

第三篇实现

第10章搭建嵌入式神经网络开发环境193

10.1嵌入式AI开发流程193

10.2NVIDIA JetSon开发流程 194第11章优化嵌入式神经网络模型197

11.1TensorFlow 模型优化197

11.1.1训练后优化197

11.1.2训练时优化198

11.2TensorRT模型优化215

11.2.1与主流深度学习框架集成215

11.2.2部署到嵌入式系统220

11.2.3TensorRT API221

11.2.4TensorRT应用示例232

11.2.5模型转换器249

11.3两种模型优化技术的对比261第12章在嵌入式设备上执行推理262

12.1从源代码构建项目262

12.2使用ImageNet实现图像分类267

12.2.1静态图像分类267

12.2.2摄像机实时视频分类277

12.3使用DetectNet实现目标检测284

12.3.1静态图像目标检测284

12.3.2摄像机实时视频目标检测286

12.4使用SegNet实现语义分割294

12.4.1静态图像语义分割294

12.4.2视频语义分割304

12.5使用PyTorch实现迁移学习313

12.6使用转换的模型335第13章嵌入式神经网络应用示例337

13.1应用场景337

13.2硬件选型338

13.3模型开发338结束语万物智能344参考文献346

2018年，一位老朋友鼓励我写一本关于人工智能的书。这让我很惶恐，因为我既不是一位科学家，也不是一位未来学家，对于这个热门话题，怕是不能随心所欲地驾驭。然而，内心却又跃跃欲试，毕竟在多年以前，这个冷门的领域也曾是我钟情的方向。信息科技的浪潮一波又一波地翻涌，让我这个“前浪”万幸没被拍死，反而被推到了风口浪尖。

具体选题的时候，又为难了。人工智能这个课题太大了，有不少前辈、专家已经就此做出或高屋建瓴、或博大精深、或深入浅出的阐述，要想说些能让读者有那么一点点兴趣的新话题，不是一件容易的事。思来想去，这些年的职业生涯，无非就是让各种硬件变得更智能一些，即将人工智能赋予各种各样的事物，那么，就以“万物智能”为题吧。老朋友插话了，“咳咳，像是科普作品”。我本人是非常喜欢科普作品的，然而由于一直缺乏想象力，写科普作品实在不擅长。那么，换做“嵌入式人工智能”倒有些恰如其分。各种科学，冠以“嵌入式”，就变成了实践性的科技，或者说工程，算不得那么高精尖，由我这个非正式科研人员来写，就算不得僭越了。何况，嵌入式人工智能，好像还没有人深入研究过，就算才疏学浅，写得糟糕，读者看在新鲜的份上，多少也会给予原谅的。对于严谨的老先生们，就当是后学所做的探索性预研，有不妥当、不深入的地方，一样也会给予原谅吧。

动笔之后，有时候感叹这个题目写得太早，有时候又感叹写得太晚。本想把以前工作的成果加以总结，但翻箱倒柜，发现料不够，仅仅将以前的工程实践罗列出来，而没有原理分析，作为一本书是过不了关的。但要将嵌入式人工智能作为一门学问来研究，需要下大力气才行。自知才疏学浅，偷懒的办法就是总结他人的研究成果，加以整理、分析和提炼。孔夫子也说过，“述而不作”，就这么办了。

2018年，学术界对嵌入式人工智能的研究只是刚刚开了一个头，关于嵌入式人工智能的研究成果零零散散，尚未经过大规模实践检验。对于一个新生事物，总要先将它做大做强，然后做小做精。嵌入式人工智能作为一般人工智能的缩微版本，下手是不是有些太早？再加上俗务繁忙，因此搁笔了近两年。当2020年疫情来袭，隔离在家的时候，再捡起这个题目，欣喜地看到，这方面的研究已经如雨后春笋，不光是各种轻量级算法推陈出新，模型压缩的技术也有了显著进展，甚至专为嵌入式系统而生的AI加速芯片也已光鲜上市。就这样边探索、边总结，大致完成了本书的第一篇: “原理”部分。拿出来给一些朋友看，得到稍许鼓励。这样就开始第二篇: “平台”部分和第三篇: “实现”部分的编写。正如很多读者容易发现的一样，这两篇可能写得太迟，当这本书终于成稿并交付出版的时候，各种嵌入式人工智能平台的发展已经一日千里，嵌入式人工智能的实践也已遍地开花，书中对它们的阐述不免有些过时。好在这两篇的篇幅不大，又独立成篇，性急的读者可仅作为参考。

最后，要感谢为这本书做出指导和帮助的师长、朋友。正如前面所说，这本书更多的是对前人成果的整理。因此，首先要感谢那些在嵌入式人工智能领域做出前瞻性研究的学者们，包括Xipeng Shen(慎煕鹏)、Song Han(韩松)、Shaoshan Liu(刘少山)、Mingxing Tan(谭明星)、Menglong Zhu(朱梦龙)、Vivienne Sze、Forrest Iandola、Franois Chollet、Andrew Howard、Bert Moons、Daniel Bankman、Marian Verhelst 等，这个名单一定有所遗漏，因为这个领域的发展实在太迅速，难免漏过某位大家，请谅解。其次要感谢在本书编写过程中提出意见和建议的多位朋友、同事，正是你们不厌其烦地鼓励和帮助，才让我能坚持写完这本书。最后，不能免俗，感谢我的家人们，尤其是湛然，在训练你的生物神经网络的过程中，产生了本书的一些灵感。

编者

2023年3月