大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第四阶段

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第四阶段

19课时 |
53人已学 |
(0 评论)
  • 收藏

  • 分享

  • 免费

    加入学习
    扫二维码继续学习 二维码时效为半小时 去移动端学习
    • 收藏

    • 分享

    加入学习
    课程介绍

    本课程由黑马程序员提供。

    订票网站提供查询、预订服务,有用户访问,也存在爬虫。爬虫消耗了系统资源,却没有转化成销量,导致系统虚耗,造成系统波动。为了爬虫访问,需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。

    项目分为七个阶段,本阶段主要讲了如何实现数据预处理的数据历史爬虫、结构化、数据推送、数据预处理监控、前端读取后端数据等功能。

     

    课程第一阶段链接:https://edu.aliyun.com/course/2064

    课程第二阶段链接:https://edu.aliyun.com/course/2065

    课程第三阶段链接:https://edu.aliyun.com/course/2069

    课程第四阶段链接:https://edu.aliyun.com/course/2070

    课程第五阶段链接:https://edu.aliyun.com/course/2071

    课程第六阶段链接:https://edu.aliyun.com/course/2074

    课程第七阶段链接:https://edu.aliyun.com/course/2075

     

    课程目标
    • 熟悉并掌握采用Lua+Spark+Redis+Hadoop框架的反爬虫系统搭建
    适合人群
    • 开发者
    • 架构师

    授课教师

    传智播客旗下高端IT教育品牌
    阿里云开发者社区全面升级
    一站式体验,助力云上开发!
    进入新社区

    相关课程

    查看更多 >