白帽子讲Web扫描pdf

白帽子讲Web扫描 内容简介

Web扫描器是一种可以对Web应用程序进行自动化安全测试的工具，它可以帮助我们快速发现目标存在的安全风险，并能够对其进行持续性安全监控。

《白帽子讲Web扫描》详细讲述了Web扫描器的概念、原理、实践及反制等知识，笔者凭借多年的安全工作经验，站在安全和开发的双重角度，力求为读者呈现出一个完整的Web扫描知识体系。通过对《白帽子讲Web扫描》的学习和实践，可以让你快速建立自己的Web扫描体系，提高安全基础能力。

白帽子讲Web扫描 目录

序

前言

第1章 扫描器基础

1.1 什么是Web扫描器

1.2 扫描器的重要性

1.3 扫描器的类型

1.4 常见的扫描器（扫描器的示例）

1.5 扫描器评测

1.6 漏洞测试平台

1.7 扫描环境部署

第2章 Web爬虫基础

2.1 什么是Web爬虫

2.2 浏览器手工爬取过程

2.3 URL

2.4 超级链接

2.5 HTTP协议（Request/Response）

2.6 HTTP认证

2.7 HEAD方法

2.8 Cookie机制

2.9 DNS本地缓存

2.10 页面解析

2.11 爬虫策略

2.12 页面跳转

2.13 识别404错误页面

2.14 URL重复/URL相似/URL包含

2.15 区分URL的意义

2.16 URL去重

2.17 页面相似算法

2.18 断连重试

2.19 动态链接与静态链接

第3章 Web爬虫进阶

3.1 Web爬虫的工作原理

3.2 实现URL封装

3.3 实现HTTP请求和响应

3.4 实现页面解析

3.5 URL去重去似

3.6 实现404页面识别

3.7 实现断连重试

3.8 实现Web爬虫

3.9 实现Web 2.0爬虫

第4章 应用指纹识别

4.1 应用指纹种类及识别

4.2 应用指纹识别的价值

4.3 应用指纹识别技术

第5章 安全漏洞审计

5.1 安全漏洞审计三部曲

5.2 通用型漏洞审计

5.3 Nday/0day漏洞审计

第6章 扫描器进阶

6.1 扫描流程

6.2 软件设计

6.3 功能模块

6.4 软件架构

6.5 数据结构

6.6 功能实现

6.7 扫描报告

6.8 扫描测试

第7章 云扫描

7.1 什么是云扫描

7.2 云扫描架构

7.3 云扫描实践

7.4 云扫描服务

第8章 企业安全扫描实践

8.1 企业为什么需要扫描

8.2 企业扫描的应用场景

第9章 关于防御

9.1 爬虫反制

9.2 审计反制

9.3 防御策略

附录A

附录B

白帽子讲Web扫描 精彩文摘

我的安全路

本人第一次接触安全是在大学期间，有一次无意中读到室友买的一本《黑客防线》杂志，立刻就被里面的黑客技术深深吸引。从那以后，我就开始疯狂学习安全知识，而那时候大学还没有设立类似的课程，只能靠自己独立钻研。一方面我借助安全杂志学习入侵实践知识，另一方面则“泡”在图书馆里翻阅各类与安全相关的书籍补充理论知识，成长非常快。

但在大学毕业的时候，我却并没有选择进入自己感兴趣的安全类公司，反而进入了一家大型跨国公司，在里面做了一年的软件测试工作，感觉这段经历对我最大的改变就是，养成了喜欢用自动化方式去解决一些重复工作的习惯。

后来我还是希望遵从内心，决定找一份与安全相关的工作。在辞职前，我成功地入侵了公司的内部网络，拿到公司域控的管理权限，并在服务器的桌面上留下了善意的修复建议，目的只是为了证明自己的安全能力。

有着大公司的背景及对安全工作的执着追求，我顺利地加入了瑞星公司，在这里开始进一步学习安全的知识。得益于瑞星宽松的工作环境和浓厚的安全氛围，在完成本职工作之余，我开始进行更多的学习和研究，同时也接触到很多新的安全产品。也是在那段时间，我写了自己第一款移动端的手机防火墙软件，不过此时我对安全的理解更多的是攻防学习和漏洞研究，所掌握的知识并不成体系。

再后来我加入安全宝创业。安全宝算是我最有感情的一家公司，它让我从零开始踏上一个公司的安全建设之路，对安全工作进行系统的规划，以闭环的方式来推进和完善每个工作流程，然后通过攻防对抗实践进行迭代式的改进。其实对于企业来讲，攻防对抗仍然可以作为企业安全建设中最有价值的应用实践之一。

之后我加入百度。虽然还是以乙方的视角做着安全服务工作，但甲方的工作氛围和技术培训也让我对攻防的理解更加全局化，更加工程化，也更加体系化。此时，我对扫描的看法也发生了变化：扫描作为攻击的一种方式，它应该更贴近真实的攻击；而真实的攻击其实是一种全视角、持续性、动态化的入侵行为，它会对目标进行全视角的信息和资产收集，然后通过持续性的漏洞测试及动态的情报能力发现其中的脆弱点。因此，如果我们想重塑扫描的价值，那么就应该以攻击者的视角，同时将更多的安全能力融入扫描中，并以攻击的全流程来对其进行改进和扩充，从而最终实现扫描的情报化、插件化、智能化。

我的安全观

我眼中的Web安全

还记得自己刚刚加入百度，小哥（程岩）在面试我的时候，问了一个问题，我至今依然记忆深刻：每个Web安全人员都有自己的安全体系，你眼中的Web安全是什么样子的？

当时我也是第一次被问到这么宏观的问题，第一感觉就是问题很大，一时不知从何说起，现在我还记得自己当时的回答：我眼中的Web安全包含着我做的所有内容，比如漏洞挖掘、漏洞分析、漏洞攻击和规则防御等。它们都是围绕漏洞的生命周期进行展开的，可以按照时间顺序将它们划分为4个阶段，如下。

漏洞的感知：我们需要从各个方面和渠道去关注Web漏洞，获取最新的漏洞资源和信息，如漏洞监控、漏洞预警或漏洞挖掘等。

漏洞的分析：获取漏洞资源后，我们就需要对漏洞进行分析和研究，弄清楚漏洞的原理及成因，而这主要体现在两方面，一方面是可以构造出漏洞的POC，并补充到扫描器中，对漏洞实现自动化检测和验证；另一方面则是深入理解漏洞原理后，能够写出对应的漏洞匹配特征，制作漏洞签名，并给WAF升级进行防护。

漏洞的响应：这里主要分为两部分，一部分是对内的响应，也就是自身的漏洞响应，对漏洞进行快速排查和修复；另一部分则是对外的响应，也就是对互联网的全网客户进行响应，评估漏洞对其影响，以及协助修复，并对全网的安全态势进行监控。

漏洞的沉淀：按照漏洞的描述、原理、场景，以及修复策略等相关信息，对每个漏洞进行编号和积累，形成有价值的漏洞知识库。

现在回想起来，对于当时的回答，我其实并不满意，只能算是勉强应付下来。但事后自己却想得更多了，这个问题属于主观题，或许它没有标准的答案，也没有所谓的对与错，但它却可以让每个人按照自己的角度、自己的工作、自己的理解，重新去思考和审视自己的知识体系。从那以后，这个问题也就一直伴随着我，它也是我作为面试官必问的题目之一。因为我相信在不同的阶段，每个人对它的理解肯定是不一样的。

三个基础的安全认知

1．木桶原理

盛水的木桶是由多块木板箍成的，盛水量也是由这些木板决定的。若其中一块木板很短，则此木桶的盛水量就被限制，该短板就成了这个木桶盛水量的限制因素，若要此木桶盛水量增加，只有换掉短板或将其加长才行，这就是木桶原理。它表达的意思就是，一个水桶无论有多高，它盛水的高度取决于其中最短的那块木板。在信息安全领域中，目标系统就好比盛水的木桶，它的安全性完全取决于系统中最薄弱的那个环节。

举个例子，我们在给企业进行渗透测试服务时，发现弱口令的安全问题仍然是企业的一个重灾区，这些企业虽然在安全方面做了很多工作，而且也部署了一些安全设备，但往往却因为一个简单的弱口令导致整个系统被入侵和攻破，所以我们需要审视系统中的薄弱点，并进行加强。

2．攻防不对称，安全是相对的

攻防不对称其实很好理解，防御方需要保护的是一个整体，而攻击方却可以通过审视这个整体，选择其中一个薄弱的环节进行持续的攻击。在这个对抗的过程中，其实很多内容都是不对称的，如下。

?技术不对称：攻击方可以针对目标使用的某个软件或组件进行深入的漏洞挖掘，然后通过新的0day漏洞完成攻击和入侵，而防御方却无法对系统每个部分的漏洞都有所了解。

?成本不对称：攻击方可以选择成本低廉、破坏力强的DDoS拒绝服务攻击，而防御方却需要消耗巨大的成本进行整体的防御。

?信息不对称：攻击方可以选择通过人员、社交、无线等与企业有依赖关系的入口制订攻击路径，而防御方却无法覆盖所有的关联入口。

因此不论是安全产品，还是安全设计，它们的目标从来都不是绝对安全的，而只追求相对安全。但这个认知绝不是用来找借口或是逃避安全责任的，而是用来提醒我们：安全是一个动态的过程，当前的安全工作仍然还有提升的空间；攻防其实只是一种成本的博弈对抗，只需要在允许的成本范围内进行适度、有效的防御即可；在攻防不对称的情况下，我们可以选择用攻击驱动的方式进行防御。

3．纵深防御

我们知道，当今所有的信息安全技术其实都是以“用户是好人”为信任前提，只有当确认他干了坏事之后，才会把他定义为“坏人”，然后开始对其进行响应或防御。只有当某个用户已被证明产生了危害后，才将其定位为黑客或攻击者，开始对他进行应急处置，这种防御方式显然存在天然的滞后性，也势必会导致安全人员处于被动、挨打的局面。

为了能够改变这种被动、滞后的劣势，就需要拉伸防御的纵深。其实一个完整的攻击并不是由单点完成的，它通常会由一系列的环节关联组成，属于一个持续、连贯的过程。因此，我们可以在攻击过程中的每个必要环节点设置防御，从而做到提前感知和防御，利用这种层层设防、联动防御的方式，就可以化被动为主动，在攻击产生危害之前对其进行应急响应和处置。

安全其实是一个动态、整体的概念，正如道哥所说，互联网本来是安全的，自从有了研究安全的人之后，互联网就变得不安全了；而研究安全的人归根结底可以分为攻与防两个大分支，不过这里所说的攻防不是单纯的攻击入侵与技术防御，它们会结合技术、业务、流程、人员、制度和管理，形成一个广义的攻防概念，并一起构成了安全这个整体。因此我们看待安全的时候需要从攻与防两个不同的角度来整体审视和博弈均衡，同时攻击和防御也会在不断碰撞和对抗的过程中得到发展和变化。攻击通常会选择系统相对薄弱的环节来实施，防御则需要从各个角度及不同维度进行整体防御，补齐系统的各个短板，但攻防它又是不对称的，因此我们需要利用纵深防御的理念，将完整的攻击链条进行拆分和细化，在每个环节进行深度分析和防御，从而建立起立体化的安全防御体系。