Strom: Topology 有向无环图
Spout 收集数据的任务
Bolt 进行计算
Task 最小任务单位
Acker 负责消息跟踪
异或: 成对出现 结果为0
Strom: Topology 有向无环图
Spout 收集数据的任务
Bolt 进行计算
Task 最小任务单位
Acker 负责消息跟踪
异或: 成对出现 结果为0
Twritter
Strom
Topology:完整的流计算作业
Spout 收集数据的任务
Bolt 进行相关计算的任务
Task SpoutBolt负责某一数据分片的实体(调度的最小单位)
Acker:跟踪节点的处理状态
系统架构
Nimbus - > zookeeper - > Supervisor
容错:
Strrom
优点:
消息在框架内不落地,处理非常高效
保证消息至少被处理
Transactional Topology 为消息去重提供了去重
缺点
Transactional Topolgy 对Batch 串行执行
Kinesis
动态调整并发度
MillWhell 微软流计算框架