课程介绍
本课程由黑马程序员提供。
订票网站提供查询、预订服务，有用户访问，也存在爬虫。爬虫消耗了系统资源，却没有转化成销量，导致系统虚耗，造成系统波动。为了爬虫访问，需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。
项目分为七个阶段，本阶段主要讲了如何实现数据预处理的数据历史爬虫、结构化、数据推送、数据预处理监控、前端读取后端数据等功能。
课程第一阶段链接：https://edu.aliyun.com/course/2064
课程第二阶段链接：https://edu.aliyun.com/course/2065
课程第三阶段链接：https://edu.aliyun.com/course/2069
课程第四阶段链接：https://edu.aliyun.com/course/2070
课程第五阶段链接：https://edu.aliyun.com/course/2071
课程第六阶段链接：https://edu.aliyun.com/course/2074
课程第七阶段链接：https://edu.aliyun.com/course/2075
课程目标
- 熟悉并掌握采用Lua+Spark+Redis+Hadoop框架的反爬虫系统搭建
适合人群
- 开发者
- 架构师
授课教师
传智播客旗下高端IT教育品牌