大模型RAG实战

基本信息（以实物为准）

• 商品名称：大模型RAG实战
• 作者：汪鹏//谷清水//卞龙鹏|
• 定价：99
• 出版社：机械工业
• 书号：9787111761990

其他参考信息（以实物为准）

• 出版时间：2024-09-01
• 印刷时间：2024-09-01
• 版次：1
• 印次：1
• 开本：16开
• 包装：平装
• 页数：203
• 字数：238千字

编辑推荐语

（1）作者经验丰富：3位作者在一线互联网大厂和上市公司又多年的AI技术经验和算法经验，是RAG领域的实践者和布道者。 （2）理论全面深入：系统梳理与大模型和RAG相关核心技术和优化方法，全面总结RAG的范式演变。 （3）内容实战导向：不仅讲解了各种RAG系统的训练方法，而且还讲解了如何从零搭建一个RAG系统以及RAG系统在大模型应用开发中的使用。

内容提要

内容简介 这是一本全面讲解RAG技术原理、实战应用与系统构建的著作。作者结合自身丰富的实战经验，详细阐述了RAG的基础原理、核心组件、优缺点以及使用场景，同时探讨了RAG在大模型应用开发中的变革与潜力。书中不仅揭示了RAG技术背后的数学原理，还通过丰富的案例与代码实现，引导读者从理论走向实践，轻松掌握RAG系统的构建与优化。无论你是深度学习初学者，还是希望提升RAG应用技能的开发者，本书都将为你提供宝贵的参考与指导。
    通过阅读本书，你将掌握以下知识： ?透彻理解RAG的召回和生成模块算法 ? RAG系统的技巧 ?RAG系统的各种训练方式方法 ?深入了解RAG的范式变迁 ?实战0基础搭建RAG系统 ?实战 RAG系统微调与流程搭建

作者简介

汪鹏
NLP技术专家和AI技术专家，拥有多年NLP落地经验。擅长结合用户场景，针对性地设计图谱、问答、检索、多模态、AIGC等相关的算法和落地方案。在Kaggle获得多枚奖牌，等级master。拥有公众号“NLP前沿”。
谷清水
毕业于清华大学，有 多家大厂工作经历，7年深度学习项目开发经验。在KDD-CUP等机器学习竞赛中多次获奖，持有多项发明专利。知乎ID：“战士金”。
卞龙鹏
某上市公司 AI算法工程师，多年互联网一线工作经验，10年机器学习与数据挖掘经验。持多项发明专利，发表多篇SCI文章，主攻机器视觉、模式识别、自然语言处理。

目录

目　　录?Contents
前　言
部分　基础
第1章　RAG与大模型应用　2
1.1　大模型应用的方向：RAG　　2
1.1.1 　什么是RAG　　2
1.1.2　RAG与模型微调的对比　　5
1.1.3　RAG带来的范式改变　　5
1.2　为什么需要RAG　　6
1.2.1　大模型的知识 新问题　　6
1.2.2　大模型生成结果的不可解释性问题　　8
1.2.3　大模型的数据泄露问题　　8
1.2.4　大模型的训练成本问题　　9
1.3　RAG的工作流程　　9
1.3.1　数据准备　　10
1.3.2　数据召回　　11
1.3.3　答案生成　　12
1.4　RAG的优缺点　　12
1.4.1　RAG的优点　　12
1.4.2　RAG的缺点　　13
1.5　RAG的使用场景　　14
1.6　RAG面临的挑战　　16
1.6.1　LLM的伸缩法则与知识库
大小的关系　　16
1.6.2　相似度搜索的性能问题　　17
1.7　本章小结　　19
第2章　语言模型基础　20
2.1　Transformer　　20
2.1.1　词嵌入　　24
2.1.2　编码器　　35
2.1.3　解码器　　39
2.1.4　解码头　　41
2.2　自动编码器　　41
2.2.1　ELMo　　42
2.2.2　BERT　　43
2.3　自回归模型　　47
2.3.1　GPT　　48
2.3.2　LLaMA　　53
2.4　本章小结　　56
第3章　文本召回模型　58
3.1　文本召回模型基础　　58
3.2　稠密向量检索模型　　61
3.2.1　SimCSE　　61
3.2.2　SBERT　　63
3.2.3　CoSENT　　64
3.2.4　WhiteBERT　　65
3.2.5　SGPT　　66
3.3　稀疏向量检索模型　　67
3.3.1　朴素词袋模型　　67
3.3.2　TF-IDF　　68
3.3.3　BM25　　70
3.4　重排序模型　　71
3.5　本章小结　　72
第二部分　原理
第4章　RAG核心技术与优化方法　74
4.1　提示词工程　　74
4.1.1　提示词工程基础　　74
4.1.2　RAG场景下的提示词
设计　　81
4.2　文本切块　　83
4.2.1　固定大小文本切块　　84
4.2.2　基于NLTK的文本切块　　85
4.2.3　特殊格式文本切块　　85
4.2.4　基于深度学习模型的文本
切块　　86
4.3　向量数据库　　87
4.3.1　Faiss　　88
4.3.2　Milvus　　92
4.3.3　Weaviate　　93
4.3.4　Chroma　　93
4.3.5　Qdrant　　93
4.4　召回环节优化　　94
4.4.1　短文本全局信息增强　　94
4.4.2　召回内容上下文扩充　　95
4.4.3　文本多向量表示　　96
4.4.4　查询内容优化　　98
4.4.5　召回文本重排序　　101
4.4.6 　多检索器融合　　102
4.4.7　结合元数据召回　　104
4.5　效果评估　　107
4.5.1　召回环节评估　　107
4.5.2　模型回答评估　　109
4.6　LLM能力优化　　115
4.6.1　LLM微调　　115
4.6.2　FLARE　　117
4.6.3　Self-RAG　　119
4.7　本章小结　　120
第5章　RAG范式演变　121
5.1　基础RAG系统　　121
5.1.1　基础流程　　121
5.1.2　存在的问题　　122
5.2　 RAG系统　　125
5.3　大模型 的RAG系统　　127
5.4　多模态RAG系统　　131
5.5　本章小结　　135
第6章　RAG系统训练　 136
6.1　RAG系统的训练难点　　136
6.2　训练方法　　138
6.3　独立训练　　138
6.4　序贯训练　　139
6.4.1　冻结召回模块　　140
6.4.2　冻结生成模块　　141
6.5　联合训练　　143
6.5.1　异步 新索引　　143
6.5.2　批近似　　147
6.6　本章小结　　149
第三部分　实战
第7章　基于LangChain实现RAG
应用　 152
7.1　LangChain基础模块　　152
7.2　基于LangChain实现RAG　　156
7.3　基于Streamlit搭建一个ChatPDF可视化应用　　158
7.4　本章小结　　161
第8章　RAG系统构建与微调
实战　 162
8.1　向量模型构建　　162
8.1.1　模型选型　　162
8.1.2　训练数据构造　　163
8.1.3　向量模型训练　　166
8.1.4　向量模型联合训练　　167
8.2　大模型指令微调　　175
8.3　复杂问题处理　　179
8.3.1　微调数据构造　　180
8.3.2　微调数据处理　　194
8.3.3　复杂问题推理处理　　200
8.4　本章小结　　203