分布式计算入门

分布式计算入门

9课时 |
10246人已学 |
(10 评论)

加入学习
加入学习

Strom: Topology 有向无环图

       Spout 收集数据的任务

       Bolt  进行计算

       Task 最小任务单位

       Acker 负责消息跟踪

异或: 成对出现 结果为0

 

[展开全文]
大漠风尘 · 2017-06-24 · 流式计算典型系统技术分析 0

Twritter

Strom

Topology:完整的流计算作业

Spout 收集数据的任务

Bolt 进行相关计算的任务

Task SpoutBolt负责某一数据分片的实体(调度的最小单位)

Acker:跟踪节点的处理状态

 

系统架构

Nimbus - > zookeeper - > Supervisor

容错:

Strrom

 

优点:

消息在框架内不落地,处理非常高效

保证消息至少被处理

Transactional Topology 为消息去重提供了去重

缺点

 

Transactional Topolgy 对Batch 串行执行

 

Kinesis

动态调整并发度

MillWhell 微软流计算框架

 

 

[展开全文]
小亮222 · 2017-06-17 · 流式计算典型系统技术分析 0

授课教师

云生态下的创新人才工场
阿里云开发者社区全面升级
一站式体验,助力云上开发!
进入新社区

相关课程

查看更多 >