云计算（典藏版）

本书是国内销量大、被众多高校采用的教材《云计算》的典藏版，是中国信息协会教育分会人工智能教育专家委员会主任刘鹏教授团队的心血之作。在应对大数据挑战的过程中，云计算技术日趋成熟，拥有大量成功的商业应用。本书追踪近期新技术，包括大数据与云计算、Google云计算原理与应用、Amazon云计算 AWS、微软云计算Microsoft Azure、Hadoop3.0：主流开源云架构、虚拟化技术、容器技术、云原生技术、云计算数据中心、云计算核心算法、云际计算技术、中国云计算技术及总结与展望等。“让学习变得轻松”是本书的初衷。通过本书可掌握云计算的概念和原理，学习主要的云计算平台和技术，还可了解云计算的核心算法和发展趋势。本书适合作为相关专业本科和研究生的教材，也可作为云计算研发人员和爱好者的参考资料。

刘鹏，教授，清华大学博士，南京云创大数据科技股份有限公司总裁，中国大数据应用联盟人工智能专家委员会主任，中国信息协会教育分会人工智能教育专家委员会主任，教育部全国普通高校毕业生就业创业指导委员会委员，第45届世界技能大赛中国区云计算选拔赛裁判长/专家指导组组长，2019年全国大学生数据建模比赛命题人，工信部云计算研究中心专家。

在云计算、大数据、人工智能领域具有多年的研究积累，是我国该领域的知名专家。主持科研项目40多项，发表论文80余篇，出版专业书籍30多种。曾于2002年获得全球数据处理比赛PennySort的世界冠军，于2003年夺得全国挑战杯比赛总冠军。提出的反垃圾邮件网格，被IEEE Cluster 2003评为杰出网格项目，为解决困扰全球的垃圾邮件问题做出根本贡献，该技术成为云安全技术的基础。

曾担任全军网格技术研究中心主任，获“全军十大学习成才标兵”（排名第一）、南京市“十大杰出青年”、“中国大数据创新百人”、江苏省“333工程”中青年领军人才、清华大学“学术新秀”等称号。

第1章 大数据与云计算 1
1．1 大数据时代 1
1．2 云计算概述 3
1．3 云计算发展现状 5
1．4 云计算实现机制 7
1．5 云计算压倒性的成本优势 8
习题 12
第2章 Google云计算原理与应用 13
2．1 Google文件系统 13
2．1．1 系统架构 14
2．1．2 容错机制 16
2．1．3 系统管理技术 17
2．2 分布式计算编程模型MapReduce 17
2．2．1 产生背景 17
2．2．2 编程模型 18
2．2．3 实现机制 19
2．2．4 案例分析 20
2．3 分布式锁服务Chubby 22
2．3．1 Paxos算法 22
2．3．2 Chubby系统设计 23
2．3．3 Chubby中的Paxos算法 24
2．3．4 Chubby文件系统 26
2．3．5 通信协议 27
2．3．6 正确性与性能 29
2．4 分布式结构化数据表BigTable 30
2．4．1 设计动机与目标 31
2．4．2 数据模型 31
2．4．3 系统架构 32
2．4．4 主服务器 33
2．4．5 子表服务器 34
2．4．6 性能优化 37
2．5 分布式存储系统Megastore 39
2．5．1 设计目标及方案选择 39
2．5．2 Megastore数据模型 40
2．5．3 Megastore中的事务及并发控制 42
2．5．4 Megastore基本架构 43
2．5．5 核心技术――复制 45
2．5．6 产品性能及控制措施 48
2．6 分布式监控系统Dapper 50
2．6．1 基本设计目标 50
2．6．2 Dapper监控系统简介 50
2．6．3 关键性技术 53
2．6．4 常用Dapper工具 54
2．6．5 Dapper使用经验 56
2．7 海量数据的交互式分析工具Dremel 58
2．7．1 产生背景 58
2．7．2 数据模型 59
2．7．3 嵌套式的列存储 60
2．7．4 查询语言与执行 64
2．7．5 性能分析 66
2．8 内存大数据分析系统PowerDrill 67
2．8．1 产生背景与设计目标 67
2．8．2 基本数据结构 68
2．8．3 性能优化 69
2．8．4 性能分析与对比 71
2．9 Google应用程序引擎 72
2．9．1 Google App Engine简介 72
2．9．2 应用程序环境 74
2．9．3 Google App Engine服务 77
习题 87
第3章 Amazon云计算AWS 88
3．1 基础存储架构Dynamo 88
3．1．1 Dynamo概况 88
3．1．2 Dynamo架构的主要技术 90
3．2 弹性计算云 97
3．2．1 EC2的基本架构 97
3．2．2 EC2的关键技术 99
3．2．3 EC2的安全及容错机制 101
3．3 简单存储服务 102
3．3．1 S3的基本概念和操作 102
3．3．2 S3的数据一致性模型 103
3．3．3 S3的安全措施 104
3．4 非关系型数据库服务 106
3．4．1 非关系型数据库与传统关系型数据库的比较 106
3．4．2 SimpleDB 107
3．4．3 DynamoDB 109
3．4．4 SimpleDB和DynamoDB的比较 109
3．5 关系型数据库服务 110
3．5．1 RDS的基本原理 110
3．5．2 RDS的使用 111
3．6 简单队列服务 111
3．6．1 SQS的基本模型 111
3．6．2 SQS的消息 112
3．7 内容推送服务 114
3．7．1 CDN 114
3．7．2 CloudFront 116
3．8 其他Amazon云计算服务 117
3．8．1 快速应用部署Elastic Beanstalk和服务模板CloudFormation 117
3．8．2 DNS服务Route53 118
3．8．3 虚拟私有云VPC 118
3．8．4 简单通知服务和简单邮件服务 119
3．8．5 弹性MapReduce服务 119
3．8．6 电子商务服务DevPay、FPS和简单支付服务 121
3．8．7 Amazon执行网络服务 125
3．8．8 土耳其机器人 125
3．8．9 数据仓库服务Redshift 126
3．8．10 应用流服务AppStream和数据流服务Kinesis 127
3．8．11 增强现实（AR）和虚拟现实（VR）应用Sumerian 128
3．8．12 区块链应用Managed Blockchain 128
3．9 AWS应用实例 129
3．9．1 照片和视频共享网站SmugMug 129
3．9．2 视频制作网站Animoto 129
3．9．3 网站排名公司Alexa 130
3．10 小结 130
习题 131
第4章 微软云计算Microsoft Azure 132
4．1 微软云计算平台 132
4．2 微软云操作系统Microsoft Azure 134
4．2．1 Microsoft Azure概述 134
4．2．2 Microsoft Azure计算服务 135
4．2．3 Microsoft Azure存储服务 139
4．2．4 Microsoft Azure Connect 147
4．2．5 Microsoft Azure CDN 148
4．2．6 Fabric控制器 149
4．3 微软云关系数据库SQL Azure 150
4．3．1 SQL Azure概述 150
4．3．2 SQL Azure关键技术 151
4．3．3 SQL Azure和SQL Server对比 153
4．4 Microsoft Azure Service Fabric 154
4．4．1 Service Fabric 概述 154
4．4．2 Service Fabric体系结构 155
4．4．3 Service Fabric群集 157
4．5 Microsoft Azure Marketplace 163
4．6 Microsoft Azure服务平台 164
4．6．1 网站 164
4．6．2 虚拟机 165
4．6．3 云服务 166
4．6．4 移动服务 167
4．6．5 大数据处理 168
4．6．6 媒体服务 169
4．6．7 物联网平台 170
4．6．8 人工智能服务 171
习题 172
第5章 Hadoop 3．0：主流开源云架构 173
5．1 挑战与对策 173
5．1．1 问题概述 173
5．1．2 常规解决方案 173
5．1．3 分布式下的解决方案 174
5．1．4 小结 178
5．2 Hadoop 3．0简述 178
5．2．1 Hadoop发展 178
5．2．2 Hadoop 3．0生态圈项目 179
5．2．3 Hadoop应用 181
5．3 Hadoop 3．0部署 181
5．3．1 部署综述 182
5．3．2 传统解压包方式部署 186
5．4 Hadoop 3．0体系架构 192
5．4．1 公共组件Common 192
5．4．2 分布式文件系统HDFS 194
5．4．3 分布式操作系统YARN 199
5．5 Hadoop 3．0访问接口 206
5．5．1 配置项接口 206
5．5．2 浏览器接口 207
5．5．3 命令行接口 207
5．5．4 HDFS编程 209
5．5．5 YARN编程 212
5．6 Hadoop 3．0生态组件 220
5．6．1 组件简介 220
5．6．2 Hive 224
5．6．3 Spark 228
5．6．4 ZooKeeper 239
5．6．5 HBase 243
5．6．6 Mahout 250
5．6．7 Redis 253
5．6．8 Kafka 258
5．6．9 Flink 263
5．6．10 Flume 266
5．6．11 Pig 271
习题 275
第6章 虚拟化技术 276
6．1 虚拟化技术简介 276
6．2 服务器虚拟化 277
6．2．1 服务器虚拟化的层次 277
6．2．2 服务器虚拟化的底层实现 278
6．2．3 虚拟机迁移 279
6．2．4 隔离技术 281
6．2．5 案例分析 283
6．3 存储虚拟化 284
6．3．1 存储虚拟化的一般模型 284
6．3．2 存储虚拟化的实现方式 284
6．3．3 案例分析 285
6．4 网络虚拟化 287
6．4．1 网络虚拟化简介 287
6．4．2 案例分析：VMware的网络虚拟化技术 288
6．5 桌面虚拟化 290
6．5．1 桌面虚拟化简介 290
6．5．2 技术现状 291
6．5．3 案例分析 292
6．6 OpenStack开源虚拟化平台 292
6．6．1 OpenStack背景介绍 293
6．6．2 Nova 294
6．6．3 Swift 299
6．6．4 Glance 305
6．7 超融合技术 306
6．7．1 概念 306
6．7．2 产生背景 306
6．7．3 超融合技术简介 308
习题 310
第7章 容器技术 311
7．1 容器技术简介 311
7．1．1 容器技术的发展历程 311
7．1．2 容器技术的架构 313
7．1．3 容器的底层技术 314
7．1．4 容器的关键技术 315
7．1．5 容器技术的优势和局限性 316
7．1．6 容器技术的典型应用 317
7．1．7 容器和虚拟机对比 318
7．2 Docker技术 320
7．2．1 Docker是什么 320
7．2．2 Docker的架构和流程 322
7．2．3 Docker的优势和局限性 323
7．2．4 分布式Docker网络环境搭建 327
7．3 Rocket（Rkt）技术简介 328
7．3．1 Rkt的标准化尝试 329
7．3．2 Rkt是什么 331
7．3．3 Rkt的基本使用方法 333
7．4 其他容器技术 335
7．4．1 Garden容器技术 335
7．4．2 Kata容器技术 337
7．5 容器编排系统 338
7．5．1 Google Kubernetes 339
7．5．2 Docker Swarm 346
7．5．3 Apache Mesos 350
7．5．4 CoreOS Fleet 356
习题 357
第8章 云原生技术 359
8．1 云原生简介 359
8．2 微服务 361
8．2．1 Spring Cloud架构 361
8．2．2 服务网格架构 370
8．3 敏捷基础设施 374
8．3．1 分布式消息中间件服务 375
8．3．2 分布式缓存服务 383
8．3．3 分布式任务调度服务 386
8．3．4 监控告警服务 390
8．4 DevOps 392
8．4．1 概念 393
8．4．2 Ansible 394
8．4．3 SaltStack 395
8．4．4 Jenkins 397
8．5 持续交付 399
8．5．1 持续交付与持续集成、持续部署 400
8．5．2 持续交付vs． DevOps 401
8．6 云原生应用场景 401
8．6．1 深度学习应用场景 402
8．6．2 区块链应用场景 403
8．6．3 边缘计算应用场景 404
8．6．4 传统行业互联网化应用场景 404
习题 405
第9章 云计算数据中心 406
9．1 云计算数据中心的特征 406
9．2 云计算数据中心网络部署 407
9．2．1 改进型树形结构 407
9．2．2 递归层次结构 409
9．2．3 光交换网络 412
9．2．4 无线数据中心网络 414
9．2．5 软件定义网络 414
9．3 绿色节能技术 418
9．3．1 配电系统节能技术 418
9．3．2 空调系统节能技术 420
9．3．3 集装箱数据中心节能技术 423
9．3．4 海底数据中心 424
9．3．5 数据中心节能策略和算法研究 427
9．3．6 新能源的应用 429
9．3．7 典型的绿色节能数据中心 432
9．4 自动化管理 434
9．4．1 自动化管理的特征 434
9．4．2 自动化管理实现阶段 435
9．4．3 Facebook自动化管理 436
9．5 容灾备份 438
9．5．1 容灾系统的等级标准 438
9．5．2 容灾备份的关键技术 439
9．5．3 云存储在容灾备份中的应用 441
习题 442
第10章 云计算核心算法 443
10．1 Paxos算法 443
10．1．1 Paxos算法背景知识 443
10．1．2 Paxos算法详解 444
10．1．3 Paxos算法举例 447
10．1．4 Chubby中Paxos算法的具体实现 448
10．2 DHT算法 449
10．2．1 DHT原理介绍 450
10．2．2 Chord中DHT的具体实现 452
10．2．3 Pastry中DHT的具体实现 454
10．2．4 CAN中DHT的具体实现 455
10．2．5 Tapestry中DHT的具体实现 456
10．3 Gossip协议 457
10．3．1 Gossip协议的特点 457
10．3．2 Gossip协议的通信方式及收敛性 458
10．3．3 Gossip节点管理算法 459
10．3．4 Cassandra中Gossip协议的具体实现方式 460
10．3．5 CoolStreaming中Gossip协议的具体实现方式 463
10．3．6 Hyperledger Fabric中Gossip协议的具体实现方式 465
10．3．7 Chord网络中Gossip协议的具体实现方式 467
习题 468
第11章 云际计算技术 469
11．1 传统云计算面临的挑战 469
11．2 云际计算诞生 470
11．2．1 云际计算概念 470
11．2．2 技术优势 470
11．3 云际计算架构 471
11．3．1 集中式代理架构 472
11．3．2 地理分布式代理架构 472
11．4 云际计算关键技术 473
11．4．1 云际协作环境 474
11．4．2 对等协作机制 477
11．5 云际存储关键技术 478
11．5．1 纠删码容错技术 479
11．5．2 数据完整性证明机制 481
11．5．3 并发控制方法 483
11．5．4 安全重删技术 485
11．6 云际计算研究进展 487
11．6．1 Inter-Cloud 488
11．6．2 SuperCloud 489
11．6．3 Multi-Cloud 490
11．6．4 Federated Cloud 491
11．6．5 Cloud Service Broker 493
11．6．6 Internetware 494
11．6．7 iVCE 496
11．7 云际计算应用场景 497
习题 498
第12章 中国云计算技术 499
12．1 国内云计算发展概况 499
12．2 国内云存储技术 500
12．2．1 淘宝文件系统 501
12．2．2 云创大数据cStor超融合云存储系统 503
12．2．3 A8000超低功耗云存储一体机 507
12．3 国内大数据库技术 510
12．3．1 阿里巴巴OceanBase 510
12．3．2 云创大数据数据立方 514
12．4 云视频监控技术 519
12．4．1 cVideo云视频监控系统 519
12．4．2 cVideo智能分析系统 521
12．4．3 cVideo云转码系统 523
12．5 阿里巴巴阿里云服务 525
12．5．1 阿里云计算体系架构 526
12．5．2 弹性计算服务 526
12．5．3 对象存储服务 527
12．5．4 表格存储服务 527
12．5．5 开放数据处理服务 528
12．5．6 关系型数据库服务 528
12．6 云创大数据万物云服务 529
12．6．1 平台简介 529
12．6．2 系统架构 530
12．6．3 功能服务 531
12．6．4 应用举例 533
12．7 云创大数据人工智能云平台 534
12．7．1 训练平台 534
12．7．2 推理平台 536
12．7．3 开放平台 540
习题 542
第13章 总结与展望 543
13．1 主流商业云计算解决方案比较 543
13．1．1 应用场景 543
13．1．2 使用流程 545
13．1．3 体系结构 546
13．1．4 实现技术 546
13．1．5 核心业务 547
13．2 主流开源云计算系统比较 549
13．2．1 开发目的 549
13．2．2 体系结构 551
13．2．3 实现技术 552
13．2．4 核心服务 552
13．3 云计算发展趋势 553
13．3．1 标准化 553
13．3．2 混合云模式 558
13．3．3 多云部署 559
13．3．4 云计算与人工智能相融合 560
习题 561

如今的云计算早已不是新鲜词汇，云计算的不断更新让开发者应接不暇，云计算甚至一度被视为“继个人电脑、互联网之后电子信息领域又一重大变革”。然而，任何事物的发展都不是一蹴而就的。在兴起的早期，云计算虽被视作“像水、电一样流向千家万户的IT资源”，国内外各朵云不断进行技术尝试，但其软硬件和商业模式均不成熟，并非现在呈现的巨头角力格局。同时，人们对云计算深层次的社会价值和技术要求并不熟悉，对于云资源的安全性及打通资源流向的基础设施等理念的接纳亦步亦趋。

彼时，一边是加速袭来的云计算风暴，另一边是懵懵懂懂的概念与技术指导，开发人员和企业大多是“摸着石头过河”。基于此，为了实现从概念到技术的实践和落地，架通研发人员与大众之间的认知桥梁，我联合高校师资、企业工程师，于2010年带来了《云计算》一书，对巨大且丰富的云计算知识进行了早期的普及尝试，旨在帮助读者扫除关于云计算基本概念的困顿，更好地梳理云计算的技术路线。显然，这场“知识雨”来得正当时，越来越多的读者通过《云计算》了解云计算，并且《云计算》也开始走进一所所高校的课堂。时至今日，《云计算》已更新至第4版，现在经过精心打磨的《云计算（典藏版）》也出版在即，完整扎实的知识体系，紧跟时代的行业信息，专业的内容解读，丰富的配套资源，相信能让读者耳目一新。

具体而言，《云计算（典藏版）》包括大数据与云计算、Google云计算原理、Amazon云计算原理、微软云计算Windows Azure、Hadoop3.0：主流开源云架构、虚拟化技术、容器技术、云原生技术、云计算数据中心、云计算核心算法、云际计算技术、中国云计算技术及总结与展望等丰富内容，无论是云计算从业人员、云计算用户、相关IT管理者，还是相关专业的师生或者对云计算感兴趣的其他读者，相信都将在本书的阅读过程中有所收获。

本书是集体智慧的结晶，在此谨向付出辛勤劳动的各位编者致敬！书中难免会有不当之处，请读者不吝赐教，可以通过“刘鹏看未来”（lpoutlook）微信公众号或刘鹏的邮箱gloud@126.com与我取得联系。

刘鹏

2023年10月23日