Hadoop 分布式计算框架 MapReduce

Hadoop 分布式计算框架 MapReduce

90课时 |
9792人已学 |
(0 评论)
  • 收藏

  • 分享

  • 免费

    加入学习
    扫二维码继续学习 二维码时效为半小时 去移动端学习
    • 收藏

    • 分享

    加入学习
    课程介绍

    MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算,最早是由Google公司研究提出,其初衷主要是为了解决其搜索引擎中大规模网页数据的并行化处理。

    概念"Map(映射)"和"Reduce(归约)",是MapReduce的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 

    2004年,开源项目Lucene(搜索索引程序库)和Nutch(搜索引擎)的创始人Doug Cutting发现MapReduce正是其所需要的解决大规模Web数据处理的重要技术,因而模仿Google MapReduce,基于Java设计开发了一个称为Hadoop的开源MapReduce并行计算框架和系统。自此,Hadoop成为Apache开源组织下最重要的项目,自其推出后很快得到了全球学术界和工业界的普遍关注,并得到推广和普及应用。

    授课教师

    大数据学习路线重磅上线
    从开源大数据技术,到云上大数据快速应用
    阿里云开发者社区全面升级
    一站式体验,助力云上开发!
    进入新社区

    相关课程

    查看更多 >

    本课程相关云产品