首页 / 大数据 / 大数据篇：Flume

大数据篇：Flume

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了大数据篇：Flume，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7532字，纯文字阅读大概需要11分钟。

内容图文

大数据篇：Flume

技术分享图片

flume.apache.org

Flume是什么?

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

如果没有Flume

数据的采集发送怎么处理呢？处理到哪里呢？Flume最主要的作用就是实时读取服务器本地磁盘数据，写入Hdfs或Kafka等中间件。

1 基础架构

技术分享图片

Agent主要由:source、channel、sink三个组件组成.
Source:
- 从数据发生器接收数据，并将接收的数据以Flume的event格式传递给一个或者多个通道channel，Flume提供多种数据接收的方式，比如Avro（Flume对接Flume），Exec（命令行如tail -f），Taildir（目录本地文件），Kafka等。
Channel:
- channel是一种短暂的存储容器，它将从source处接收到的event格式的数据缓存起来,直到它们被sinks消费掉，它在source和sink间起着桥梁的作用，channel是一个完整的事务，这一点保证了数据在收发的时候的一致性，并且它可以和任意数量的source和sink链接，支持的类型有: JDBC ， File System，Memory等。
sink:
- sink将数据channels消费数据(events)并将其传递给目标地，目标地可能是另一个sink，Flume提供多种数据发送的方式，比如Avro，HDFS，Hive，Kafka。
Event
- Flume以事件的形式将数据从源头传送到最终的目的
- Event是数据传输的基本单元
- Event由Header和Body两部分组成，Header用来存放该Event的一些属性（K-V结构），Body存放数据（Byte Array结构）。

技术分享图片

2 案例演示

2.1 netcat->Memory->Logger

通过netcat工具向本机44444端口发送数据
Flume监控本机44444端口读取数据
Flume将获取数据打印到控制台

安装netcat工具

        yum -y install nc
#监听44444端口（服务端）
nc -lk 44444
#监听44444端口（客户端）
nc localhost 44444
#互相发送数据接收即可

创建Agent配置文件flume-netcat-logger.conf

        vim flume-netcat-logger.conf
#--->
# 给agent组件命名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# sources相关配置
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# sinks相关配置
a1.sinks.k1.type = logger

# channels相关配置
a1.channels.c1.type = memory
#事件容量
a1.channels.c1.capacity = 1000
#一次传输多少事件
a1.channels.c1.transactionCapacity = 100

# 绑定三个组件
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
#---<

启动flume

        #普通写法
flume-ng agent --conf /etc/flume-ng/conf --conf-file flume-netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
#简写
flume-ng agent -c /etc/flume-ng/conf -f flume-netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console

技术分享图片

2.2 .log本地文件->Memory->Hdfs

生成本地日志文件
Flume获取本地数据文件
Flume将获取的文件发送到Hdfs

创建Agent配置文件flume-log-hdfs.conf

        vim flume-log-hdfs.conf
#--->
# 给agent组件命名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# sources相关配置
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/flume-test/logs/a.log

# sinks相关配置
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://cdh01.cm:8020/flume/events/%Y-%m-%d/%H-%M
a1.sinks.k1.hdfs.filePrefix = events-
#文件夹滚动一分钟创建一个新文件夹
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = minute
#文件滚动时间10S 128M 2条 生成新文件
a1.sinks.k1.hdfs.rollInterval = 10	
a1.sinks.k1.hdfs.rollSize = 134210000	
a1.sinks.k1.hdfs.rollCount = 2
#积累多少Event才刷到hdfs
a1.sinks.k1.hdfs.batchSize = 2
#开启时间滚动需要
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#DataStream不会压缩输出文件
a1.sinks.k1.hdfs.fileType = DataStream 

# channels相关配置
a1.channels.c1.type = memory
#事件容量
a1.channels.c1.capacity = 1000
#一次传输多少事件
a1.channels.c1.transactionCapacity = 100

# 绑定三个组件
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
#---<

启动flume

        flume-ng agent -c /etc/flume-ng/conf -f flume-log-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

创建本地文件

        mkdir /root/flume-test/logs
echo "1" > /root/flume-test/logs/a.log
echo "2" >> /root/flume-test/logs/a.log
echo "3" >> /root/flume-test/logs/a.log
echo "4" >> /root/flume-test/logs/a.log
#根据上面设置的间隔时间进行效果测试
echo "5" >> /root/flume-test/logs/a.log
echo "6" >> /root/flume-test/logs/a.log
echo "7" >> /root/flume-test/logs/a.log
echo "8" >> /root/flume-test/logs/a.log

技术分享图片

2.3 本地文件夹->Memory->Hdfs

生成本地文件夹及文件数据
Flume获取本地数据文件
Flume将获取的文件发送到Hdfs

创建Agent配置文件flume-file-hdfs.conf

        vim flume-file-hdfs.conf
#--->
# 给agent组件命名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# sources相关配置
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /root/flume-test/dirlogs
#忽略文件
a1.sources.r1.ignorePattern = ([^ ]*\.txt)

# sinks相关配置
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://cdh01.cm:8020/flume/dirlogs/%Y-%m-%d/%H-%M
a1.sinks.k1.hdfs.filePrefix = log-
#文件夹滚动一分钟创建一个新文件夹
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = minute
#文件滚动时间10S 128M 2条 生成新文件
a1.sinks.k1.hdfs.rollInterval = 10	
a1.sinks.k1.hdfs.rollSize = 134210000	
a1.sinks.k1.hdfs.rollCount = 2
#积累多少Event才刷到hdfs
a1.sinks.k1.hdfs.batchSize = 2
#开启时间滚动需要
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#DataStream不会压缩输出文件
a1.sinks.k1.hdfs.fileType = DataStream 

# channels相关配置
a1.channels.c1.type = memory
#事件容量
a1.channels.c1.capacity = 1000
#一次传输多少事件
a1.channels.c1.transactionCapacity = 100

# 绑定三个组件
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
#---<

启动flume

        flume-ng agent -c /etc/flume-ng/conf -f flume-file-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

创建本地文件

        mkdir /root/flume-test/dirlogs
echo "1" > /root/flume-test/dirlogs/a.log
echo "2" >> /root/flume-test/dirlogs/a.log
echo "3" > /root/flume-test/dirlogs/a.txt
echo "4" >> /root/flume-test/dirlogs/a.txt
#根据上面设置的间隔时间进行效果测试
echo "5" > /root/flume-test/dirlogs/b.log
echo "6" >> /root/flume-test/dirlogs/b.log
#采用cp直接放入一个写好的文件测试效果

技术分享图片

不能在监控目录中创建并持续修改文件

上传完成的文件以.COMPLETED结尾

被监控文件夹500毫秒扫描一次文件变动

2.4 本地文件夹->Memory->Logger

监控目录下的实时追加文件

生成本地文件夹及文件数据
Flume获取本地数据文件
Flume将获取数据打印到控制台

创建Agent配置文件flume-files-logger.conf

        vim flume-files-logger.conf
#--->
# 给agent组件命名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# sources相关配置
a1.sources.r1.type = TAILDIR
#位置信息
a1.sources.r1.positionFile = /root/flume-test/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /root/flume-test/test1/a.log
a1.sources.r1.headers.f1.headerKey1 = value1
a1.sources.r1.filegroups.f2 = /root/flume-test/test2/.*log.*
a1.sources.r1.headers.f2.headerKey1 = value2
a1.sources.r1.headers.f2.headerKey2 = value2-2
a1.sources.r1.fileHeader = true
a1.sources.ri.maxBatchCount = 1000

# sinks相关配置
a1.sinks.k1.type = logger

# channels相关配置
a1.channels.c1.type = memory
#事件容量
a1.channels.c1.capacity = 1000
#一次传输多少事件
a1.channels.c1.transactionCapacity = 100

# 绑定三个组件
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
#---<

启动flume

        flume-ng agent -c /etc/flume-ng/conf -f flume-files-logger.conf -n a1 -Dflume.root.logger=INFO,console

创建本地文件

        mkdir /root/flume-test/test1/
mkdir /root/flume-test/test2/
echo "1" > /root/flume-test/test1/a.log
echo "2" >> /root/flume-test/test1/a.log
echo "3" >> /root/flume-test/test1/a.log
#根据上面设置的间隔时间进行效果测试
echo "5" > /root/flume-test/test2/b.log
echo "6" >> /root/flume-test/test2/b.log
echo "7" >> /root/flume-test/test2/b.log
#停止flume，追加数据，在启动测试断点续传效果。

技术分享图片

2.5 netcat->Memory->kafka

生成本地文件夹及文件数据
Flume获取本地数据文件
Flume将获取数据打印到控制台

创建Agent配置文件flume-files-kafka.conf

        vim flume-file-kafka.conf
#--->
# 给agent组件命名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# sources相关配置
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# sinks相关配置
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = top-test
a1.sinks.k1.kafka.bootstrap.servers = cdh01.cm:9092,cdh02.cm:9092,cdh03.cm:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1


# channels相关配置
a1.channels.c1.type = memory
#事件容量
a1.channels.c1.capacity = 1000
#一次传输多少事件
a1.channels.c1.transactionCapacity = 100

# 绑定三个组件
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
#---<

启动flume

        flume-ng agent -c /etc/flume-ng/conf -f flume-file-kafka.conf -n a1 -Dflume.root.logger=INFO,console

启动kafka消费者

        kafka-console-consumer --topic top-test --bootstrap-server cdh01.cm:9092,cdh02.cm:9092,cdh03.cm:9092  --from-beginning --group g1

使用netcat

        nc localhost 44444

技术分享图片

原文：https://www.cnblogs.com/ttzzyy/p/12638360.html

内容总结

以上是互联网集市为您收集整理的大数据篇：Flume全部内容，希望文章能够帮你解决大数据篇：Flume所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1227097.html

来源：【匿名】

【上一篇】大数据入门第二十四天——SparkStreaming（2）与flume、kafka整合【下一篇】phpexcel导入大数据内存溢出的解决方法有哪些

更多 ►

【大数据篇：Flume】教程文章相关的互联网学习教程文章

针对Sqlserver大数据量插入速度慢或丢失数据的解决方法【代码】

我的设备上每秒将2000条数据插入数据库，2个设备总共4000条，当在程序里面直接用insert语句插入时，两个设备同时插入大概总共能插入约2800条左右，数据丢失约1200条左右，测试了很多方法，整理出了两种效果比较明显的解决办法：方法一：使用Sql Server函数:1.将数据组合成字串，使用函数将数据插入内存表，后将内存表数据复制到要插入的表。2.组合成的字符换格式：‘111|222|333|456,7894,7458|0|1|2014-01-01 12:15:16;1111|2222|...

大数据入门第二十四天——SparkStreaming（2）与flume、kafka整合【代码】【图】

前一篇中数据源采用的是从一个socket中拿数据，有点属于“旁门左道”，正经的是从kafka等消息队列中拿数据！主要支持的source，由官网得知如下：获取数据的形式包括推送push和拉取pull一、spark streaming整合flume1.push的方式　　　　更推荐的是pull的拉取方式　　　　引入依赖：<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-flume_2.10</artifactId><version>${spark.version}</version></depe...

大数据篇：Flume【代码】【图】

大数据篇：Flumeflume.apache.orgFlume是什么?Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。如果没有Flume数据的采集发送怎么处理呢？处理到哪里呢？Flume最主要的作用就是实时读取服务器本地磁盘数据，写入Hdfs或Kafka等中间件。1 基础架构Agent主...

WCF传输大数据 --断点续传（upload、download)【代码】【图】

1using System;2using System.IO;3using System.Runtime.Serialization;4using System.ServiceModel;5 6namespace WcfServer7{8internalclass Program9 {10privatestaticvoid Main()11 {12using (var host = new ServiceHost(typeof (StreamServices)))13 {14 host.Opened += (a, b) => Console.WriteLine("...");15 host.Open();16 17 Console.ReadKey();18...

网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。【图】

免费开通大数据服务：https://www.aliyun.com/product/odps“令人惊喜的是，利用阿里云的数加平台，我们差不多一个多月就搭建好了大数据平台，并且可以通过图形化的界面快速的开发，几个开发人员很快的掌握，甚至我们把阿里云的开发端给了业务部门，他们一些稍微资深一点的业务人员也可以使用，所以我们初步估计了一下，给我们节省的价值至少是千万级的。”——网鱼网咖CTO楚发关于网鱼网咖网鱼网咖成立于1998年，致力于打造多人游...

使用tar+pigz+ssh实现大数据的高效传输

使用tar+pigz+ssh实现大数据的高效传输转自：http://www.cnblogs.com/chjbbs/p/6472236.html以前我们跨主机拷贝大数据的时候，比如要拷贝超过100GB的mysql原始数据，我们通常的做法如下：在源端打包压缩为tar.gz文件采用scp或者rsync等方式拷贝到目标主机在目标主机解压文件这三个过程是同步阻塞，即不能同时异步执行，导致效率低下。现在我们将过程优化为以数据流的方式，同时执行（非阻塞模式），则效率一般可以提高到原来的3倍以...

大数据的融合价值：跨界连接产业变革【图】

近年来，随着信息技术的不断发展趋势，以及终端设备产业的不断成熟，越来越多的行业开始运用大数据方式进行数据分析和挖掘，以期给用户提供更精准和科学的体验方式。在近日由环球漫游联手去哪儿发布的情侣出境游意愿报告中，全方面运用大数据解析普通情侣的旅游出行方式，也因此成为这份报告在大数据应用方面的最佳看点。而在这份报告中形成的大数据分析价值，也使得这份研究成果成为大数据研究的典型代表，一定程度上对行业发展也...

大数据处理之道（十分钟学会Python）【图】

一：python 简介（1）Python的由来Python（英语发音：/?pa?θ?n/）, 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要...

关于MATLAB处理大数据坐标文件2017530

今天使用了所有特征并且用SVM测试数据理由：SVM可以使用特征将测试集划分区域，比较单调、死板结果：成绩很不理想，无疑又一次说明随机森林更适合大数据处理第二次提交数据用MATLAB运行11次运算结果，提取其中6次及6次以上重复出现的数据，提交结果：分数降低5分本次目的：检测以往数据的准确率总结：我们的数据中有部分数据错误了至少6次，那么特征还不够完善，接下来的工作还在特征原文：http://www.cnblogs.com/jjuiipg2017/p/6...

开源大数据查询分析引擎现状

引言大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon Dynamo直接催生了NoSQL这个崭新的数据库领域，撼动了RDBMS在商用数据库和数据仓库方面几十年的统治性地位。FaceBook的Hive项目是建立在Hadoop上的数据仓库基础构架，提供了一系列用于存储...

《大数据技术原理与应用》第二版-第七章MapReduce【图】

7.1概述分布式编程，传统的程序开发都是以单指令、单数据流的方式顺序执行，但是性能受到单台机器性能的限制，可扩展性差。而分布式并行程序可以很好运行在由大量计算机构成的集群上，很容易实现计算能力的扩充。MapReduce框架会为每一个Map任务输入一个数据子集，Map任务生成的结果会继续作为Reduce任务输入，最终Reduce任务输出到分布式文件系统中HDFS。（前提是数据集可分割小数据集能够并行处理）MapReduce一个理念是计算向数据...

大数据 Linux 搭建（三）【代码】【图】

1.打开VMware 编辑>虚拟网络编辑器，查看VMnet8虚拟网卡的子网、子网掩码、以及网关 2.在Linux中配置网络vi /etc/sysconfig/network-scripts/ifcfg-eth0删除UUID和MAC地址，将IP地址、掩码、网关改为符合自己网络的地址ONBOOT=yesBOOTPROTO=staticIPADDR=192.168.9.253NETMASK=255.255.255.0GATEWAY=192.168.9.2DNS1=114.114.114.1143.删除rm -fr /etc/udev/rules.d/70-persistent-net.rules 4.关闭防火墙自启chkconfig iptabl...

大数据 - 最热教程

python处理大数据你选什么工具? pandas...冲着这份大数据分析案例，我立马下载该...06-大数据性能优化- 长列表优化 /Objec...大数据学习总结（2021版）---shell windows下大数据开发环境搭建（1）——...Python：如何在未排序的列表中查找大于...Python如何处理大数据？3个技巧效率提升...你只知大数据的便利，却不知漏洞——ha...头歌Educoder——大数据Hadoop开发环境...spring boot集成mongodb 分片解决大数据...

首页 / 大数据 / 大数据篇：Flume

大数据篇：Flume

内容导读

内容图文

大数据篇：Flume

1 基础架构

2 案例演示

2.1 netcat->Memory->Logger

2.2 .log本地文件->Memory->Hdfs

2.3 本地文件夹->Memory->Hdfs

2.4 本地文件夹->Memory->Logger

2.5 netcat->Memory->kafka

内容总结

内容备注

内容手机端

【大数据篇：Flume】教程文章相关的互联网学习教程文章

针对Sqlserver大数据量插入速度慢或丢失数据的解决方法【代码】

大数据入门第二十四天——SparkStreaming（2）与flume、kafka整合【代码】【图】

大数据篇：Flume【代码】【图】

WCF传输大数据 --断点续传（upload、download)【代码】【图】

网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。【图】

使用tar+pigz+ssh实现大数据的高效传输

大数据的融合价值：跨界连接产业变革【图】

大数据处理之道（十分钟学会Python）【图】

关于MATLAB处理大数据坐标文件2017530

开源大数据查询分析引擎现状

《大数据技术原理与应用》第二版-第七章MapReduce【图】

大数据 Linux 搭建（三）【代码】【图】

Spark项目之电商用户行为分析大数据平台之（十一）JSON及FASTJSON【代码】

大数据的测试思维与探索

大数据<javaSE + Linux精英实训班>_day_07【代码】

数据 - 相关标签

大数据 - 最新教程

大数据 - 最热教程