Flume是Cloudera提供的一个高可用的,高可靠的、分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
Flume特点如下:
- Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中
- Flume可以将从多个服务器中获取的数据迅速的移交给Hadoop中
- 除了日志信息,Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据,比如facebook、twitter等
- 支持各种接入资源数据的类型以及输出数据类型
- 支持多路径流量、多管道接入流量、多管道输出流量、上下文路由等
- 可以被水平扩展