语言之舞：大语言模型应用实战全书 pdf下载

一站式学习，从入门到精通：

覆盖现阶段大语言模型领域各大知识点，从LLM构建、部署、监控，到LLM微调、项目实战、提示工程，再到LLM增强、提示库和工具

详解GPT、DeepSeek、LLaMA、Qwen等主流大模型的特点和实战用法

涵盖MCP、RAG、ETA、Agent（智能体）等前沿知识和实例

包含丰富的配书资源：

赠送139页电子资料

赠送书中实战案例代码

赠送本书配套的其他附件

近年来，大语言模型（LLM）技术飞速发展，深刻地改变着我们世界的各行各业，越来越多的人意识到这项技术的重要性，却苦于缺少严谨、优质的一站式学习教程。本书旨在为读者提供全面、深入且实践性强的LLM 学习资源，力求将LLM 的理论知识与实际应用案例相结合，帮助读者更好地理解和掌握这一前沿技术。本书具有重视实践、内容全面且系统、案例丰富且实用、代码规范且易懂、紧跟技术前沿等显著的特色，是现阶段LLM理论与实践学习的集大成者。

本书的目标读者包括但不限于：对LLM 感兴趣的科研人员、工程师、学生以及希望了解和应用LLM 的企业管理者。本书也可成为各个院校培训机构AI和大模型专业的教材。

牛亚运（网名：一个处女座的程序猿）

机器学习和大模型算法专家、国内知名AI博主。入选《关键对话：程序员创富》的“50位顶尖创业者和技术人”名单，担任达摩院评测官及多个头部社区的专家博主，多年位居CSDN社区历史贡献榜榜首。累计获得20余项专业资质，包括AI认证、软件著作权、国家发明专利，并在SCI期刊上发表论文。在AI领域的粉丝超200万人，所写文章总浏览量突破6000万人次。

倪静 博士

上海理工大学管理学院人工智能系副教授，长期从事人工智能应用的相关研究，以第一作者/通讯作者身份在SCI/SSCI/CSSCI等期刊上发表论文40余篇；主持、参与并完成国家自然科学基金、教育部人文社科、上海市自然科学基金等多项国家级和省部级相关项目，主持企业横向项目30余项，在人工智能应用、数字孪生、ERP/MEMS、项目管理、优化算法、智能设计/制造、AI+量化交易等方面建树颇丰。

本书以科学严谨的态度，深入探讨了大语言模型从代码实战到部署应用的各个环节，对大语言模型中的关键技术，如算法原理、代码实现细节等，进行了细致入微的讲解，逻辑清晰、论证严谨。同时，丰富的实战案例让理论知识变得生动可感，极具吸引力。 在AI技术飞速发展的当下，这样一本凝结着作者智慧与汗水的书籍，不仅为技术爱好者和从业者提供了宝贵的学习资源，也让我们更加珍视人类在技术探索过程中付出的努力，期待更多优秀的作品问世。

张大磊——鹰瞳Airdoc的创始人，译作有《C#与.NET3.5高级程序设计（第4版）》

本书既有代码实战指导，又有工程实践分析，使技术落地更具操作性。对于致力于推动工程技术与人工智能融合的学者与工程师来说，此书是值得细读的作品。

李卫东——长江学者教授、上海创新领军人才、英国机械工程师学会会士

第1 章 LLM 构建流程． 1
1．1　数据准备并初步清洗． 2
1．1．1　数据采集． 3
1．1．2　数据过滤． 5
1．1．2．1　低质过滤． 8
1．1．2．2　去重过滤．10
1．1．2．3　内容安全过滤． 12
1．1．3　实战案例：使用Falcon 爬取并清洗互联网数据． 13
1．2　数据预处理．14
1．2．1　数据精洗．14
1．2．2　分词及其预处理．14
1．2．2．1　分词． 15
1．2．2．2　Token 后处理． 19
1．2．3　分词器． 20
1．2．3．1　分词器的概述． 20
1．2．3．2　词汇表扩充技术．23
1．2．3．3　代码实战．24
1．2．4　定义模型的输入．25
1．2．4．1　构建输入特征． 25
1．2．4．2　Token 处理阶段的对比．26
1．3　模型预训练与评估．27
1．3．1　模型搭建．27
1．3．1．1　建模任务及其模型架构选择． 28
1．3．1．2　模型框架选择． 30
1．3．2　模型预训练与优化． 31
1．3．2．1　模型预训练． 31
1．3．2．2　模型超参数调优．33
1．3．2．3　模型训练优化及其常用策略． 36
1．3．2．4　模型训练优化之并行提速． 37
1．3．2．5　拓展的并行技术之ZeRO． 42
1．3．2．6　拓展的并行技术之 FSDP． 48
1．3．2．7　拓展的并行技术之MoE 并行． 52
1．3．2．8　模型训练优化之降存提速六大技巧综述． 53
1．3．2．9　降存之词汇表裁剪． 53
1．3．2．10　降存之梯度检查点． 54
1．3．2．11　同时降存、提速之混合精度训练．56
1．3．2．12　同时提速、降存之数据压缩． 60
1．3．2．13　同时提速、降存之量化感知训练 61
1．3．2．14　提速之梯度累积． 63
1．3．3　预训练后评估． 65
1．3．3．1　概述． 65
1．3．3．2　代码实战：基准评估案例（C-Eval）． 67
1．3．3．3　代码实战：人工评估案例． 68
1．3．3．4　代码实战：大模型自动评估案例（BELLE）． 69
1．4　模型微调． 70
1．4．1　LLM 知识更新概述． 70
1．4．2　模型微调策略． 72
1．4．2．1　指令微调．74
1．4．2．2 　对齐微调． 78
1．4．2．3　代码实战．84
1．4．3　模型微调技术． 86
1．4．3．1　参数高效微调． 86
1．4．3．2　适配器微调． 88
1．4．3．3　前缀微调．90
1．4．3．4　P-Tuning．92
1．4．3．5　Prompt-Tuning．94
1．4．3．6　P-Tuning V2． 98
1．4．3．7　LoRA． 100
1．4．3．8　常用的参数高效微调方法对比．106
1．5　模型推理与优化． 109
1．5．1　模型推理概述． 109
1．5．2　推理阶段可调参数． 111
1．5．3　模型推理加速技术． 112
1．5．3．1　模型量化技术． 114
1．5．3．2　模型剪枝技术． 119
1．5．3．3　模型蒸馏技术． 121
1．5．3．4　KV 缓存技术． 126
第2 章 LLM 的部署与监控． 128
2．1　模型部署． 129
2．1．1　模型部署概述． 129
2．1．2　分布式环境配置．131
2．1．3　Docker 部署实战．133
2．2　模型监控与维护． 133
2．3　实战案例． 135
第3 章 LLM 的微调与推理部署实战案例． 137
3．1　基于LLaMA-3 系列模型实战．137
3．1．1　微调实战．138
3．1．1．1　官方Demo 案例：利用LoRA 微调LLaMA-3-8B-Instruct 并生成推理对话． 138
3．1．1．2　基于Colab 平台实现LoRA 微调LLaMA-3-8B-Instruct-bnb-4bit．139
3．1．1．3　采用LLaMA-Factory 工具GUI 的方式微调LLaMA-3-8B-Instruct．139
3．1．1．4　基于Colab 平台利用Unsloth 优化框架实现LoRA 微调LLaMA-3-8B-bnb．140
3．1．2　推理部署实战． 140
3．1．2．1　快速使用LLaMA-3-8B-Instruct进行推理测试． 140
3．1．2．2　 LLaMA-3-8B-Instruct WebDemo部署． 140
3．1．2．3　采用FastAPI 部署与调用LLaMA-3-8B-Instruct． 141
3．1．2．4　基于LM Studio 结合LobeChat 框架部署LLaMA-3 模型． 142
3．1．2．5　基于OLLaMA 后端框架依次结合不同的前端框架搭建RAG． 145
3．1．2．6　基于GPT4ALL 框架及其量化后部署． 148
3．1．3　在线测试实战． 150
3．2　基于ChatGLM-3 系列模型实战．150
3．2．1　微调实战．151
3．2．1．1　官方Demo 案例：利用P-TuningV2 和LoRA 在单卡GPU 环境下进行微调．151
3．2．1．2　基于官方Demo 微调：多卡全参数微调/ 单卡P-Tuning V2 微调．152
3．2．1．3　在云服务器（4090-24GB）上采用P-Tuning V2 微调． 152
3．2．1．4　基于LLaMA-Factory 框架并采用GUI 方式微调． 154
3．2．2　推理部署实战． 155
3．2．2．1　采用官方Demo 提供的CLI 形式实现对话交互． 155
3．2．2．2　采用官方Demo 的Web 界面实现对话模式、工具模式、代码解释器模式． 156
3．2．2．3　基于LangChain 框架实现ChatGLM-3 的工具调用． 158
3．2．3　在线测试实战． 159
3．2．3．1　采用官方API 接口方式调用． 159
3．2．3．2　Web 在线体验． 159
3．3　基于GPT-4o 模型实战． 159
3．3．1　基于官方API 进行在线推理测试．159
3．3．2　基于官方Web 界面进行在线测试．160
3．4　基于GLM-4 系列模型实战． 163
3．4．1　微调实战．163
3．4．1．1　基于官方Demo 案例依次采用LoRA、P-Tuning V2、SFT 实现微调． 163
3．4．1．2　在云服务器（4090-24GB）上采用LoRA 或P-Tuning V2 实现对话微调． 164
3．4．2　推理部署实战． 164
3．4．2．1　基于官方Demo 实现基础用法：基于Transformers 或vLLM 后端并采用GLM-4-9B 模型实现对话交互．164
3．4．2．2　基于官方Demo 实现复杂用法：基于Web 方式实现GLM-4-9B模型交互与功能拓展． 165
3．4．2．3　基于云服务器（4090-24GB）实现一键部署开启服务并交互测试．167
3．4．3　在线测试实战． 167
3．4．3．1　采用官方API 接口方式调用ChatGLM-4-plus． 167
3．4．3．2　Web 在线体验． 168
3．5　基于Qwen 系列模型实战． 168
3．5．1　微调实战：基于LLaMA-Factory框架微调Qwen-2 模型．169
3．5．2　推理部署实战． 169
3．5．2．1　基于Transformer 架构实现测试Qwen-2．5-7B-Instruct 模型． 169
3．5．2．2　基于OLLaMA 部署Qwen-2．5-7B模型． 170
3．5．3　在线测试实战． 171
3．5．3．1　API 接口调用． 171
3．5．3．2　Web 在线体验． 171
3．6　基于DeepSeek-R1 系列模型实战．171
3．6．1　微调实战．171
3．6．1．1　基于Mini-DeepSeek-R1 项目实现．171
3．6．1．2　利用云服务器． 172
3．6．2　推理部署实战． 173
3．6．2．1　基于官方Demo 实现基础用法．173
3．6．2．2　基于LangChain 框架实现． 173
3．6．2．3　基于OLLaMA 和Dify 创建DeepSeek-R1 的个性化应用． 174
3．6．2．4　基于OLLaMA 和AnythingLLM创建DeepSeek-R1 个性化应用．175
3．6．3　在线测试实战． 177
3．6．3．1　API 接口调用． 177
3．6．3．2　Web 在线体验． 177
第4 章 LLM 项目的构建与应用 178
4．1　生成式AI 项目的生命周期． 178
4．2　企业级LLM 构建与实现的通用流程．184
4．2．1　如何选择优质的应用场景． 185
4．2．1．1　LLM 在To B 领域落地应用的现有场景实践．186
4．2．1．2　LLM 的产品化实践流程．187
4．2．1．3　LLM 落地实践中的产品侧与技术侧． 187
4．2．2　如何实现企业级ChatGPT． 189
4．2．2．1　选择基座模型． 189
4．2．2．2　准备数据．191
4．2．2．3　准备环境．193
4．2．2．4　模型迁移常用方法． 194
4．2．2．5　模型评估．195
4．2．2．6　评价模型．197
4．2．2．7　模型修正．197
4．2．2．8　模型落地．197
4．3　基于LLM 的研究方向． 198
4．3．1　NLP 任务．199
4．3．2　信息检索和推荐系统． 199
4．3．3　多模态和知识图谱增强．199
4．3．4　基于LLM 的智能体． 200
4．4　基于LLM 的领域应用． 200
4．5　基于LLM 的企业级需求和应用场景．201
第5 章 提示设计． 203
5．1　提示工程概述． 203
5．2　提示的设计要素和策略．207
5．2．1　提示的设计要素．207
5．2．2　提示内容的设计策略． 209
5．3　提示设计的方法论．211
5．3．1　ICL．212
5．3．2　CoT．214
5．3．3　PCTS． 217
5．3．4　对比ICL、CoT、PCTS． 218
5．3．5　提示设计方法论分类． 219
5．4　提示设计实践指南和优秀框架．220
5．5 MCP． 221
5．5．1 提示工程痛点与MCP 出现． 221
5．5．2 MCP 核心内容． 222
5．5．3 MCP 的典型应用场景． 223
5．5．4 MCP 的使用经验与技巧． 223
第6 章 LLM 的进阶与增强． 225
6．1　LLM 的局限性及其解决方案． 226
6．1．1　LLM 幻觉现象简介与解决方法．228
6．1．2　LLM 有毒性现象简介与解决方法．230
6．1．3　LLM 虚假信息现象简介与解决方法．231
6．2　RAG． 232
6．2．1　RAG 概述．232
6．2．2　RAG 工程化系统架构和开发组件． 242
6．2．3　RAG 的失败案例及其优化． 244
6．2．3．1　RAG 的失败案例． 244
6．2．3．2　RAG 宏观技术角度的优化． 246
6．2．3．3　RAG 微观策略角度的优化． 248
6．2．3．4　探究并解决RAG 框架下PDF 场景的结构化数据提取问题． 262
6．2．3．5　代码实战．267
6．2．4　RAG 的发展及其挑战． 269
6．2．4．1　RAG 发展的三阶段． 269
6．2．4．2　RAG 面临的挑战与未来发展趋势．270
6．2．5　RAG 案例实战． 271
6．2．5．1　基于LangChain 框架实现RAG．271
6．2．5．2　基于LangChain-Chatchat 框架实现RAG． 273
6．2．6．3　基于LLaMAIndex 框架实现RAG 274
6．2．5．4　基于LocalGPT 框架实现RAG．275
6．2．5．5　基于OLLaMA+AnythingLLM 框架实现RAG． 275
6．2．5．6　基于OLLaMA+Dify 框架实现RAG． 277
6．3　ETA． 278
6．3．1　ETA 概述．278
6．3．2　ETA 实战．284
6．3．2．1　基于OpenAI 官方案例实现工具调用能力．284
6．3．2．2　基于GLM-4 官方案例实现工具调用能力．285
6．3．2．3　基于Qwen 官方案例实现工具调用能力． 285
6．3．2．4　基于 LangChain 框架和GPT-4o实现多个工具调用． 285
6．3．2．5　基于LangGraph 框架和Qwen 模型实现GraphETA．286
6．3．3　伯克利函数调用排行榜．287
6．4　智能体． 287
6．4．1　智能体概述． 287
6．4．1．1　智能体系统模块．291
6．4．1．2　智能体框架工程化． 295
6．4．1．3　未来挑战．296
6．4．2　智能体常用能力．297
6．4．2．1　能力概览及其实现方法．297
6．4．2．2　能力域分类． 299
6．4．3　智能体设计的思想和主流模式．299
6．4．3．1　ReAct Agent 简介． 301
6．4．3．2　ReWOO Agent 简介． 305
6．4．3．3　DERA Agent 简介． 306
6．4．3．4　智能体设计的三大范式．307
6．4．4　智能体应用的分类． 308
6．4．5　智能体实战． 309
6．4．5．1　模型推理：基于LangChain 框架并结合GPT-4o 和GPT-4 实现Tool Agent． 309
6．4．5．2　模型推理：基于LangChain 框架实现ReAct Agent． 309
6．4．5．3　模型推理：基于LangChain 框架实现KG-RAG Agent． 310
6．4．5．4　基于LangChain 框架和FastAPI部署Tool Agent 服务． 310
6．5　长上下文建模． 311
6．5．1　大窗口技术概述．311
6．5．2　长上下文建模实战． 315
6．6　技术探讨与分析． 316
6．6．1　RAG 技术与大窗口技术的争论――冲突还是共生． 316
6．6．2　智能体技术的自主性与ETA 技术的可控性权衡的争论． 318
第7 章 LLM 的训练/ 推理框架、部署工具和提示库． 321
7．1　LLM 的开发框架． 321
7．1．1　侧重数据处理的库或框架． 321
7．1．2　侧重模型构建的库或框架． 322
7．2　LLM 的训练、评估、微调和推理框架．324
7．2．1　侧重训练的库或框架． 324
7．2．2　侧重评估的库或框架． 326
7．2．3　侧重微调的库或框架． 326
7．2．4　侧重推理的库或框架． 328
7．3　LLM 的部署和应用工具．330
7．3．1　Web 框架和API 服务． 330
7．3．2　请求和并发处理．331
7．3．3　用户界面库． 331
7．3．4　实验跟踪和可视化． 332
7．3．5　容器化和编排． 332
7．3．6　高级的LLM 部署和服务工具． 333
7．4　LLM 的向量数据库． 334

前言

近年来，大语言模型（Large Language Model，LLM）技术飞速发展，深刻地改变着自然语言处理（Natural Language Processing，NLP）领域，并逐渐渗透到各行各业。从最初的统计语言模型到如今能够进行复杂推理和创造性写作的LLM，LLM 展现出了前所未有的能力。然而，围绕LLM 的理论和实践仍然存在许多挑战和未解之谜。本书旨在为读者提供全面、深入且实践性强的LLM 学习资源。

写作背景与目的

本书的写作源于作者长期以来对LLM 技术的研究和实践经验。我们注意到，目前市面上关于LLM 的图书和资料要么过于理论化，缺乏实际操作指导；要么过于碎片化，难以形成系统性的认知。因此，本书力求将LLM 的理论知识与实际应用案例相结合，帮助读者更好地理解和掌握这一前沿技术。本书的目标读者包括但不限于：对LLM 感兴趣的科研人员、工程师、学生以及希望了解和应用LLM 的企业管理者。

本书特色

本书具有以下几个显著的特色。

（1）重视实践：本书将理论知识与大量实战案例紧密结合，力求做到知行合一。每一章节都包含了丰富的代码示例和详细的步骤讲解，帮助读者快速上手。

（2）内容全面且系统：本书（包括配套的电子书部分）涵盖了LLM 的方方面面，从发展历史、核心要素、构建流程到模型部署、微调、推理，以及各种高级应用和未来发展方向，力求做到内容全面且系统，帮助读者建立完整的知识体系。

（3）案例丰富且实用：本书提供了多个基于不同主流LLM（如GPT 家族、LLaMA 家族、PaLM 家族、GLM 家族、Qwen 家族、DeepSeek 家族等）的实战案例，涵盖了微调、推理部署、RAG、智能体等多种应用场景，这些案例均经过作者的精心挑选和验证，具有很强的实用性。

（4）代码规范且易懂：本书所有的代码示例均采用规范的编程风格，并配有详细的注释和解释，即使是编程基础薄弱的读者，也能轻松理解和运行。

（5）紧跟技术前沿：本书内容紧跟LLM 技术发展前沿，力所能及地涵盖了较新的模型架构、训练方法、部署工具和应用场景，确保读者能够学习到更新的知识。

本书结构

本书各章节的内容安排如下。

1. 主体部分

第1 章“LLM 构建流程”：系统地介绍了LLM 的构建流程，包括数据准备、数据预处理、模型预训练、模型微调、模型推理和优化等环节，并对各个环节中的关键技术和策略进行了深入探讨，并通过代码实战，帮助读者掌握LLM 的构建过程。

第2 章“LLM 的部署与监控”：讲解了LLM 的部署和监控方法，包括模型部署方式、分布式环境配置、Docker 部署、模型监控和维护策略等内容，并结合实际案例，帮助读者掌握LLM 的部署和监控技巧。

第3 章“LLM 的微调与推理部署实战案例”：提供了多个基于不同主流LLM 的微调和推理部署实战案例， 包括基于LLaMA-3、ChatGLM-3、GPT-4o、GLM-4、Qwen、DeepSeek-R1 等的微调和推理部署案例，并详细讲解了每个案例的核心思路和代码实现。

第4 章“LLM 项目的构建与应用”：从业务角度出发，重点介绍了企业级LLM 构建与实现的通用流程，包括应用场景选择、数据准备、环境配置、模型迁移、模型评估和落地等环节，并对LLM 在不同领域的应用场景进行了分析。

第5 章“提示设计”：系统讲解了提示工程的概述，提示设计要素、策略和方法论，并提供了大量的提示词设计示例和优秀框架，帮助读者掌握提示设计。

第6 章“LLM 增强技术”：介绍了LLM 的局限性及其解决方案，并深入探讨了RAG、ETA 和智能体等LLM 增强技术，并通过丰富的代码实战，帮助读者掌握这些高级应用技术。

第7 章“LLM 的训练/ 推理框架、部署工具和提示库”：总结了LLM 常用的训练/ 推理框架、部署工具和提示库，帮助读者快速找到合适的工具来构建和应用LLM。

2．电子资料部分

附录A“LLM 的发展史”：追溯了NLP 技术发展的四个浪潮，详细介绍了LLM 发展的各个历史阶段，并对各个阶段的重要模型进行了对比分析，最后通过代码实战案例，帮助读者理解不同模型的实现原理和应用方式。

附录B“LLM 技术的核心要素”：深入探讨了LLM 的构成要素，包括大规模数据、模型架构、模型评估体系和模型优化策略，并对Transformer 架构、主流模型架构、模型评估方法等知识点进行了详细讲解。

附录C“挑战与未来方向”：展望了LLM 技术未来的发展方向，并对LLM 面临的挑战进行了深入分析，包括数据偏见、模型可解释性、资源消耗、多模态能力、知识更新、内容安全以及与其他AI 技术的集成等方面。

3. 实战代码和其他附件

本书中的实战案例均提供必要的核心代码供读者参考和练习。这些代码也是本书的重要组成部分，可以帮助读者在实际运用中快速进步。

为方便查阅，读者可用微信扫描封底“读者服务”处的二维码，按提示说明获取本书“电子资料部分”的内容和本书中提到的“本书附件”。

相信通过本书的学习，读者能够全面掌握LLM 的相关知识和实践技能，并能够将其应用于实际项目中，为推动LLM 技术的发展贡献力量。

致谢

本书的完成离不开许多人的帮助和支持。首先，我要感谢我的家人和朋友，他们在我写作过程中给予了我极大的鼓励和支持。其次，我要感谢我的导师和同事，他们在我研究LLM 的过程中给予了我宝贵的指导和建议。最后，我要感谢所有参与本书审稿和编辑的工作人员，他们的辛勤工作保证了本书的质量。特别感谢开源社区的贡献者们，他们的工作为本书提供了大量的宝贵资源。感谢所有为LLM 技术发展做出贡献的研究者和工程师们，你们的努力推动了这个领域的进步。本书的不足之处，还请各位读者批评、指正。

作　者