基于数据分析的网络安全（第二版） pdf下载

传统的入侵探测手段与日志文件分析技术，已经无法适应当今这么复杂的网络状况了。在经过更新的这本书里，本书作者会给信息安全人员提供新的技术与工具，告诉大家怎样收集网络流量，并对这些数据集进行分析。你会学到怎样掌握网络的使用情况，以及如何采取必要的措施来巩固并守护网络中的系统。

　　本书由三部分组成，其中会讲到数据收集与数据整理工作所依循的流程，并告诉你怎样使用各类分析工具和如何运用各种分析技巧来处理不同的情况。有一些新的章节会专门讨论主动监控、流量操纵、内部威胁检测、数据挖掘、回归分析，以及机器学习等主题。

•使用传感器来收集网络、服务、主机和主动领域中的数据。

•使用 SiLK 工具集、Python 编程语言，以及其他一些工具与技术，来操作你所收集的数据。

•通过探索性的数据分析（EDA），并辅以可视化技术与数学技术来探测网络中的反常情况。

•分析文本数据，获知流量所表示的行为，以及检测通信过程中的错误。

•把网络建模成图，以便通过分析该图来了解网络中比较重要的结构。

•检查与内部威胁有关的数据，获取威胁情报。

•通过网络映射工作来编制网络资源目录，并确定其中较为重要的主机。

•与运维人员协作以制定有效的防御及分析技术。

Michael Collins是RedJack,LLC的首席科学家，RedJack是位于美国华盛顿哥伦比亚特区的网络安全与数据分析公司。Collins主要关注网络测量与流量分析，尤其是对较大的流量数据集所做的分析。

“本书全面讲述了从哪里分析数据、分析什么样的数据，以及怎样处理收集到的各种数据，以帮助你更好地保护本组织的网络系统，从而及时发现并延缓网络攻击。凡是编写数据驱动型的网络安全程序的人，都应该参考这本书。”

——Bob Rudis，

Rapid 7的首席数据科学家

“每一位网络工程师与网络分析师都应该看看这本书。如果你想知道怎样从安全操作层面及策略层面，给决策者提供建议并为决策过程提供支持，那么就来读这本书吧。”

——Yurie Ito，

Cybergreen Institute 的创始人与执行董事

前言 1

第I 部分 数据

第1 章 整理数据：视点、领域、行动及验证 .17

1.1 领域 19

1.2 视点 21

1.3 行动：传感器对数据所做的处理 25

1.4 有效性与行动 27

1.5 延伸阅读 .34

第2 章 视点：了解传感器在网络中的摆放情况 .36

2.1 网络分层的基础知识 36

2.2 在网络中的各个层面上进行寻址 45

2.3 延伸阅读 .57

第3 章 网络领域内的传感器 .58

3.1 数据包与帧的格式 .59

3.2 NetFlow 67

3.3 通过IDS 收集数据 70

3.4 提高IDS 的工作成效78

3.5 中间盒日志及其影响 91

3.6 延伸阅读 .94

第4 章 服务领域中的数据 .96

4.1 什么叫做服务领域中的数据？为什么要收集这些数据？ .96

4.2 日志文件——最为基础的服务数据 98

4.3 获取并操纵日志文件 98

4.4 日志文件的内容 101

4.5 延伸阅读 112

第5 章 服务领域内的传感器 113

5.1　典型的日志文件格式 . 114

5.2　简单邮件传输协议（SMTP） 119

5.3　其他一些较为有用的日志文件 .125

5.4　传输日志文件的三种方式：文件传输、Syslog 和消息队列 .127

5.5　延伸阅读 130

第6 章 主机领域中的数据与传感器 .131

6.1　从网络的角度观察主机 .132

6.2　与网络接口（网卡）有关的信息 .134

6.3　可以用来追踪身份的主机信息 .138

6.4　进程 140

6.5　文件系统 145

6.6　历史数据：用户执行过的命令以及与登录有关的信息 148

6.7　其他数据与传感器：HIPS 及AV .149

6.8　延伸阅读 150

第7 章 主动领域内的数据及传感器 .151

7.1　发现、评估及维护 152

7.2　发现：ping、traceroute、netcat 等工具的用法，以及nmap 工具的

其中一部分用法 153

7.3　评估：nmap、一些客户端和许多资源库 161

7.4　用主动收集到的数据来进行验证 .168

7.5　延伸阅读 169

第Ⅱ部分 工具

第8 章 把数据集中到一起 173

8.1　宏观结构 176

8.2　日志数据与CRUD 范式 184

8.3　NoSQL 系统简介 .187

8.4　延伸阅读 190

第9 章 SiLK 工具包 191

9.1　什么是SiLK ？它的工作原理是怎样的？ 191

9.2　取得并安装SiLK .192

9.3　用rwcut 命令操纵字段，并按照一定的格式将其输出 .194

9.4　用rwfilter 命令对字段进行基本的操纵 200

9.5　用rwfileinfo 命令查询数据文件的出处 210

9.6　用rwcount 命令把信息流合起来统计 213

9.7　rwset 与IP set 215

9.8　rwuniq 命令 .220

9.9　rwbag 命令 222

9.10　SiLK 工具包的高级功能 223

9.11　收集SiLK 数据 226

9.12　延伸阅读 233

第10 章 参照与查询——用相关工具确定用户身份235

10.1　MAC 与硬件地址 236

10.2　IP 地址 239

10.3　DNS .246

10.4　搜索引擎 266

10.5　延伸阅读 268

第Ⅲ部分 分析

第11 章 探索性数据分析及其视觉呈现275

11.1　EDA 的目标：应用分析 .277

11.2　EDA 的工作流程 280

11.3　变量与可视化 282

11.4　适用单个变量的可视化技术 284

11.5　对双变量的数据集进行呈现 291

11.6　对多变量的数据集进行呈现 293

11.7　拟合与估算 307

11.8　延伸阅读 315

第12 章 文本分析 316

12.1　文本的编码 316

12.2　基本技能 325

12.3　文本分析技术 332

12.4　延伸阅读 339

第13 章 Fumbling .340

13.1　由于错误的配置、自动化的软件或扫描行为而引起的fumble 现象 341

13.2　如何识别fumbling 攻击 .344

13.3　服务层面的fumbling 357

13.4　探测并分析Fumbling 现象 361

第14 章 流量与时间 .367

14.1　办公时间方面的规律及其对网络流量的影响 .368

14.2　beaconing 371

14.3　文件传输/raiding 374

14.4　集中度 .377

14.5　对流量与集中度进行分析 .389

14.6　延伸阅读 395

第15 章 图 396

15.1　图的定义与特征 .396

15.2　标记、权重与路径 401

15.3　节点与连接性 407

15.4　聚集系数 408

15.5　对图进行分析 410

15.6　延伸阅读 415

第16 章 来自内部的威胁 .416

16.1　把内部威胁与其他几种攻击区别开 .418

16.2　避免互相伤害 421

16.3　攻击方式 422

16.4　收集并分析与内部威胁有关的数据 .424

16.5　延伸阅读 428

第17 章 威胁情报 429

17.1　什么是威胁情报？ 429

17.2　创建威胁情报计划 434

17.3　对威胁情报的创建工作进行小结 439

17.4　延伸阅读 440

第18 章 应用程序判定 .441

18.1　可用来认定应用程序的各种手段 442

18.2　认定应用程序的banner 并对其分类 456

18.3　延伸阅读 459

第19 章 网络映射 460

19.1　创建初始的网络资源目录与网络映射图 460

19.2　更新网络资源目录，以便持续地进行审计 481

19.3　延伸阅读 482

第20 章 与运维团队合作 .483

20.1　运维工作概述 483

20.2　运维工作中的各种流程 485

20.3　延伸阅读 496

第21 章 结论 498

对本书的赞誉

攻击者通常比防御者更了解受防御的网络所采用的技术，然而在很多情况下，防御者首先想到的，却是把网络构建得更加复杂，这只能使攻击者在技术方面变得越发领先，从而更有把握侵入网络。要想了解受防御的网络，其基本功就在于观察，为了检测异常行为并预判有可能受到的入侵，防御者必须监测网络基础设施的各种数据，并根据其特征做出调整。这本书解释了怎样观察网络安全数据，以及为什么要观察这些数据。所有的安全运维团队都应该读。

—— Dr. Paul Vixie，Farsight Security 的 CEO

本书作者在这本书里展示了一套丰富的框架，告诉我们应该在哪里观测数据，观测什么样的数据，以及如何处理观测到的这些数据，以帮助公司检测并制止入侵行为。对于由数据所驱动的网络安全程序来说，这是很有必要的。

—— Bob Rudis，Rapid7 的首席数据科学家

这本书结合科学原理与实践经验，扎实地讲解了网络技术与网络策略对安全所造成的影响，是网络操作员与网络分析师的必读书目。如果你要参与安全运维或网络策略层面的决策工作，或帮助他人制定此类决策，那么应该看看这本书。

—— Yurie Ito，CyberGreen Institute 的创始人与执行董事

本书作者把他多年以来的运维体会与研究经验，都写在了这本书里，以帮助网络管理员及安全分析师从庞杂的网络日志中寻找有意义的信号，并采取行动。既讲解了数据分析理论，又通过实际的场景与代码，很好地演示了怎样运用这套理论来确保网络安全。

—— Vyas Sekar，Carnegie Mellon University/CyLab 的副教授