破解深度学习（核心篇）：模型算法与实现

适读人群 ：本书理论与实战并重，即可以帮助读者全面夯实算法理论基础，又可以通过符合业界需求的案例项目帮读者快速提升实战技能。因此，本书特别适合人工智能领域的从业人员和准备进入该领域的新手阅读。此外，本书还可以帮助即将走出校园的计算机或者人工智能等相关专业学生快速完成从校园到职场的角色转变，匹配工作岗位要求。

1.基于教育博主梗直哥创作的人工智能系列视频和课程编写
2.配套视频（付费内容）助力学习。
3.涵盖当前深度学习的热点领域。
4.知乎、B站、GZH、知识星球等平台设有交流互动渠道。

.瞿炜，美国伊利诺伊大学人工智能博士，哈佛大学、京都大学客座教授；前中国科学院大学教授、模式识别国家重点实验室客座研究员；国家部委特聘专家、重点实验室学术委员会委员；国际期刊编委，多个学术期刊审稿人及国际学术会议委员。在人工智能业界拥有二十余年的技术积累和实践经验，曾先后在互联网、医疗、安防、教育等行业的多家世界 500 强企业担任高管。他是授业解惑科技有限公司的创始人，以及多家人工智能、金融公司的联合创始人，还是一名天使投资人。凭借多年的专业积淀和卓越的行业洞察力，瞿炜博士近年来致力于人工智能教育事业的发展。作为教育博主，他擅长用通俗易懂的表达方式结合直观生动的模型动画，讲述复杂的人工智能理论与算法；创作的人工智能系列视频和课程在 B 站（账号：梗直哥丶） 知乎 GZH 视频号（账号：梗直哥丶）等平台深受学生们的欢迎和认可，累计访问量超数千万人次。

.李力，人工智能专家，长期致力于计算机视觉和强化学习领域的研究与实践。曾在多家科技企业担任资深算法工程师，拥有十余年行业经验，具备丰富的技术能力和深厚的理论知识。在他的职业生涯中，李力参与并领导了众多深度学习和强化学习的核心技术项目，有效地应用先进模型解决图像识别、目标检测、自然语言处理、机器人研发等多个领域的实际问题。

.杨洁，人工智能和自然语言处理领域资深应用专家，在自然语言理解、基于知识的智能服务、跨模态语言智能、智能问答系统等技术领域具有深厚的实战背景。她曾在教育、医疗等行业的企业担任关键职位，拥有十年以上的行业管理经验，成功领导并实施了多个创新项目，擅长引领团队将复杂的理论转化为实际应用，解决行业中的关键问题。

第 1章 复杂卷积神经网络：捕获精细特征1
1．1 AlexNet2
1．1．1 AlexNet简介2
1．1．2 代码实现3
1．1．3 模型训练6
1．1．4 小结10
1．2 VGGNet10
1．2．1 VGGNet简介10
1．2．2 代码实现13
1．2．3 模型训练15
1．2．4 小结16
1．3 批归一化方法16
1．3．1 批归一化简介16
1．3．2 代码实现17
1．3．3 模型训练19
1．3．4 小结20
1．4 GoogLeNet20
1．4．1 GoogLeNet简介20
1．4．2 Inception结构20
1．4．3 GoogLeNet的模型结构21
1．4．4 代码实现 22
1．4．5 模型训练25
1．4．6 小结26
1．5 ResNet26
1．5．1 ResNet简介26
1．5．2 残差结构27
1．5．3 ResNet模型结构28
1．5．4 代码实现30
1．5．5 模型训练35
1．5．6 小结36
1．6 DenseNet36
1．6．1 DenseNet简介36
1．6．2 代码实现39
1．6．3 模型训练44
1．6．4 小结44

第 2章 复杂循环神经网络：为记忆插上翅膀46
2．1 双向RNN和深度RNN47
2．1．1 双向RNN47
2．1．2 深度RNN48
2．1．3 小结51
2．2 RNN长期依赖问题51
2．2．1 什么是长期依赖52
2．2．2 长期记忆失效原因52
2．2．3 截断时间步53
2．2．4 小结54
2．3 长短期记忆网络及其变体54
2．3．1 核心思想54
2．3．2 网络结构55
2．3．3 遗忘门56
2．3．4 输入门56
2．3．5 输出门57
2．3．6 门控循环单元57
2．3．7 小结60
2．4 四种RNN代码实现60
2．4．1 模型定义60
2．4．2 模型实验63
2．4．3 效果对比66
2．4．4 小结67

第3章 复杂注意力神经网络：大模型的力量68
3．1 BERT模型68
3．1．1 3种模型结构69
3．1．2 词嵌入70
3．1．3 预训练：掩码语言模型70
3．1．4 预训练：下一句预测71
3．1．5 微调72
3．1．6 优缺点73
3．1．7 小结74
3．2 GPT系列模型74
3．2．1 GPT-1模型思想和结构75
3．2．2 GPT-1无监督预训练和监督微调76
3．2．3 GPT-1数据集和性能特点77
3．2．4 GPT-2模型思想和结构78
3．2．5 GPT-2 数据集和性能特点79
3．2．6 GPT-3 模型思想和结构80
3．2．7 基于情景学习的对话模式80
3．2．8 GPT-3 数据集和性能特点83
3．2．9 小结84
3．3 T5模型84
3．3．1 基本思想84
3．3．2 词表示发展史85
3．3．3 模型结构86
3．3．4 预训练流程87
3．3．5 预训练数据集88
3．3．6 模型版本89
3．3．7 小结89
3．4 ViT模型90
3．4．1 Transformer的好处90
3．4．2 模型结构90
3．4．3 数据预处理91
3．4．4 图片块和位置嵌入91
3．4．5 Transformer编码器92
3．4．6 MLP头93
3．4．7 性能对比93
3．4．8 小结94
3．5 Swin Transformer模型94
3．5．1 要解决的问题95
3．5．2 模型结构95
3．5．3 输入预处理97
3．5．4 四个阶段97
3．5．5 Swin Transformer块98
3．5．6 窗口注意力98
3．5．7 计算复杂度分析98
3．5．8 移动窗口多头自注意力机制99
3．5．9 特征图循环移位计算99
3．5．10 masked MSA操作100
3．5．11 小结101

第4章 深度生成模型：不确定性的妙用102
4．1 蒙特卡洛方法103
4．1．1 采样 104
4．1．2 重要性采样105
4．1．3 马尔可夫链蒙特卡洛方法105
4．1．4 小结106
4．2 变分推断方法106
4．2．1 参数估计107
4．2．2 问题定义108
4．2．3 算法思路108
4．2．4 KL散度109
4．2．5 公式推导109
4．2．6 高斯混合模型实例110
4．2．7 与MCMC方法对比111
4．2．8 小结111
4．3 变分自编码器112
4．3．1 降维思想112
4．3．2 自编码器112
4．3．3 VAE基本思想114
4．3．4 隐空间可视化117
4．3．5 神经网络实现117
4．3．6 重新参数化技巧118
4．3．7 小结119
4．4 生成对抗网络119
4．4．1 什么是对抗生成思想119
4．4．2 模型结构120
4．4．3 判别器121
4．4．4 生成器121
4．4．5 训练流程121
4．4．6 损失函数123
4．4．7 小结123
4．5 扩散模型123
4．5．1 模型对比124
4．5．2 基本思想124
4．5．3 前向过程125
4．5．4 逆向过程126
4．5．5 损失函数128
4．5．6 损失函数的参数化129
4．5．7 训练流程130
4．5．8 小结130
4．6 深度生成模型项目实战131
4．6．1 代码实现131
4．6．2 VAE模型132
4．6．3 GAN模型136
4．6．4 小结140

第5章 计算机视觉：让智慧可见141
5．1 自定义数据加载141
5．1．1 数据加载141
5．1．2 数据准备142
5．1．3 ImageFolder方法142
5．1．4 自定义数据集示例1145
5．1．5 自定义数据集示例2147
5．1．6 小结150
5．2 图像数据增强150
5．2．1 数据增强简介150
5．2．2 代码准备150
5．2．3 常见图像数据增强方法153
5．2．4 小结159
5．3 迁移学习160
5．3．1 迁移学习简介160
5．3．2 ResNet预训练模型160
5．3．3 ViT预训练模型163
5．3．4 小结165
5．4 经典计算机视觉数据集165
5．4．1 数据集简介165
5．4．2 小结169
5．5 项目实战：猫狗大战170
5．5．1 项目简介170
5．5．2 数据准备170
5．5．3 模型训练175
5．5．4 模型预测178
5．5．5 小结180

第6章 自然语言处理：人机交互懂你所说181
6．1 词嵌入和Word2Vec181
6．1．1 独热编码181
6．1．2 Word2Vec182
6．1．3 Gensim代码实现185
6．1．4 小结186
6．2 词义搜索和句义表示186
6．2．1 文本搜索方法186
6．2．2 正则搜索187
6．2．3 词义搜索188
6．2．4 距离计算方法189
6．2．5 句子向量189
6．2．6 代码实现190
6．2．7 常见应用192
6．2．8 小结192
6．3 预训练模型193
6．3．1 预训练和迁移学习193
6．3．2 迁移学习族谱194
6．3．3 大语言模型194
6．3．4 LLM进化方向196
6．3．5 BERT系列进化197
6．3．6 GPT系列进化197
6．3．7 多模态模型199
6．3．8 存在的问题200
6．3．9 小结200
6．4 Hugging Face库介绍200
6．4．1 核心库200
6．4．2 官网介绍201
6．4．3 代码调用204
6．4．4 小结207
6．5 NLP数据集207
6．5．1 预训练数据集208
6．5．2 下游任务数据集209
6．5．3 数据集使用211
6．5．4 小结213
6．6 项目实战：电影评论情感分析213
6．6．1 Pipeline213
6．6．2 模型实战214
6．6．3 直接微调219
6．6．4 小结221

第7章 多模态生成式人工智能：引领智能新时代222
7．1 CLIP模型222
7．1．1 计算机视觉研究新范式223
7．1．2 对比学习预训练223
7．1．3 图像编码器224
7．1．4 文本编码器224
7．1．5 数据收集224
7．1．6 图像分类225
7．1．7 模型训练和优缺点分析226
7．1．8 小结227
7．2 DALL·E系列模型227
7．2．1 初代模型结构227
7．2．2 dVAE模块228
7．2．3 Transformer模块229
7．2．4 图像生成过程230
7．2．5 DALL·E 2 模型结构230
7．2．6 CLIP模块231
7．2．7 prior模块232
7．2．8 decoder模块232
7．2．9 DALL·E 2 推理过程233
7．2．10 模型效果233
7．2．11 局限分析233
7．2．12 小结234
7．3 InstructGPT模型235
7．3．1 GPT系列回顾235
7．3．2 指示学习和提示学习235
7．3．3 人工反馈强化学习236
7．3．4 训练流程237
7．3．5 数据集采集238
7．3．6 监督微调239
7．3．7 奖励模型239
7．3．8 强化学习239
7．3．9 优缺点分析240
7．3．10 小结240
7．4 深度学习最新发展趋势分析240
7．4．1 趋势1：多模态融合241
7．4．2 趋势2：AIGC大爆发242
7．4．3 趋势3：大小模型分化243
7．4．4 趋势4：概率分布模型的大发展244
7．4．5 趋势5：深度强化学习的春天244
7．4．6 更多展望245
7．5 下一步学习的建议245
7．5．1 动手实践245
7．5．2 PyTorch官方文档和课程246
7．5．3 推荐网站246
7．5．4 多读论文247
7．5．5 关于强化学习247
7．5．6 继续加油248