本课程由黑马程序员提供。

订票网站提供查询、预订服务，有用户访问，也存在爬虫。爬虫消耗了系统资源，却没有转化成销量，导致系统虚耗，造成系统波动。为了爬虫访问，需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。

项目分为七个阶段，本阶段主要讲了如何读取预处理后的数据、进行封装、分别统计八个指标的数据：

1. 单位时间内的IP段访问量  

2. 某个IP，单位时间内总访问量

3. 某个IP，单位时间内的关键页面访问总量

4. 某个IP，单位时间内的UA种类数统计

5. 某个IP，单位时间的内关键页面最短访问间隔

6. 某个IP，单位时间内小于最短访问间隔的关键页面查询次数

7. 某个IP，单位时间内查询不同行程的次数

8. 某个IP，单位时间内关键页面的访问次数的Cookie数

课程第一阶段链接：https://edu.aliyun.com/course/2064

课程第二阶段链接：https://edu.aliyun.com/course/2065

课程第三阶段链接：https://edu.aliyun.com/course/2069

课程第四阶段链接：https://edu.aliyun.com/course/2070

课程第五阶段链接：https://edu.aliyun.com/course/2071

课程第六阶段链接：https://edu.aliyun.com/course/2074

课程第七阶段链接：https://edu.aliyun.com/course/2075