Flume的安装与配置

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Flume的安装与配置，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5359字，纯文字阅读大概需要8分钟。

内容图文

安装

下载

下载地址一
 下载地址二
下载方式三：

wget http://archive.apache.org/dist/flume/stable/apache-flume-1.9.0-bin.tar.gz

这里使用最新的 apache-flume-1.9.0版本

解压安装

tar zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/pkg/

改目录名他人
mv apache-flume-1.9.0-bin/ flume

配置环境变量，并让环境变量生效

vim /etc/profile.d/env.sh

# FLUME 1.9.0
export FLUME_HOME=/opt/pkg/flume
export PATH=$FLUME_HOME/bin:$PATH

source /etc/profile.d/env.sh

将hadoop-2.7.3安装路径下的依赖的jar软链接到flume-1.9.0/lib下：

ln -s /user/hadoop/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar $FLUME_HOME/lib/
ln -s /user/hadoop/hadoop-2.7.3/share/hadoop/common/lib/commons-configuration-1.6.jar $FLUME_HOME/lib/
ln -s /user/hadoop/hadoop-2.7.3/share/hadoop/common/lib/hadoop-auth-2.7.3.jar $FLUME_HOME/lib/
ln -s /user/hadoop/hadoop-2.7.3/share/hadoop/common/lib/htrace-core-3.1.0-incubating.jar $FLUME_HOME/lib/
ln -s /user/hadoop/hadoop-2.7.3/share/hadoop/common/lib/commons-io-2.4.jar $FLUME_HOME/lib/
ln -s /user/hadoop/hadoop-2.7.3/share/hadoop/hdfs/hadoop-hdfs-2.7.3.jar $FLUME_HOME/lib/

测试

验证

bin/flume-ng version 

flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9

配置Flume HDFS Sink:
在flume的conf目录新建一个log2hdfs.conf
添加如下内容：

[hadoop@master conf]$ vi log2hdfs.conf

# define the agent
a1.sources=r1
a1.channels=c1
a1.sinks=k1

# define the source
#上传目录类型
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/tmp/flume-logs
#定义自滚动日志完成后的后缀名
a1.sources.r1.fileSuffix=.FINISHED
#根据每行文本内容的大小自定义最大长度4096=4k
a1.sources.r1.deserializer.maxLineLength=4096

# define the sink
a1.sinks.k1.type = hdfs
#上传的文件保存在hdfs的/flume/logs目录下
a1.sinks.k1.hdfs.path = hdfs://master:8020/flume/logs/%y-%m-%d/
a1.sinks.k1.hdfs.filePrefix=access_log
a1.sinks.k1.hdfs.fileSufix=.log
a1.sinks.k1.hdfs.batchSize=1000
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat= Text
# roll 滚动规则:按照数据块128M大小来控制文件的写入，与滚动相关其他的都设置成0
#为了演示，这里设置成500k写入一次
a1.sinks.k1.hdfs.rollSize= 512000
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.rollInteval=0
#控制生成目录的规则:一般是一天或者一周或者一个月一次，这里为了演示设置10秒 
a1.sinks.k1.hdfs.round=true
a1.sinks.k1.hdfs.roundValue=10
a1.sinks.k1.hdfs.roundUnit= second
#是否使用本地时间
a1.sinks.k1.hdfs.useLocalTimeStamp=true

#define the channel
a1.channels.c1.type = memory
#自定义event的条数
a1.channels.c1.capacity = 500000
#flume事务控制所需要的缓存容量1000条event
a1.channels.c1.transactionCapacity = 1000

#source channel sink cooperation
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

注意：

a1.sources.r1.spoolDir目录如果不存在需要先创建
a1.sinks.k1.hdfs.path目录会自动创建
- 为了演示的效果明显，这里的路径是hdfs://hadoop100:9000/flume/logs/yy-mm-dd/HH/MM/SS
- 也就是每秒的数据都会产生滚动日志，也就是1,2条记录就会单独生成一个128M的文件。
- 实际应该是按天或者按周、按月来生成滚动日志。

修改conf/flume-env.sh，配置JDK路径（该文件事先是不存在的，需要复制一份）
复制：

[root@master conf]# cp flume-env.sh.template flume-env.sh

编辑文件，并设置如下内容：

#设置JAVA_HOME:
export JAVA_HOME=/opt/pkg/jdk1.8.0_211		//等号左右不能有空格         
#修改默认的内存：  
export JAVA_OPTS="-Xms1024m -Xmx1024m -Xss256k -Xmn2g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

启动flume

准备

创建/tmp/flume-logs , 并分配权限

sudo mkdir -p  /tmp/flume-logs
sudo chown hadoop:hadoop /tmp/flume-logs

启动
执行如下命令进行启动：

[root@master flume]# bin/flume-ng agent --conf ./conf/ -f ./conf/log2hdfs.conf --name a1 -Dflume.root.logger=INFO,console

Flume的安装与配置 - 文章图片

测试

# 在tmp下新建一个会话并连接。
 touch access_log123.log

Flume的安装与配置 - 文章图片

到Hadoop的控制台http://master:50070/查看 hdfs:master:9000/flume/logs/下有没有数据生成:

脚本

编写Linux脚本rollingLog.sh，实现/var/log/nginx/access.log日志自动滚动到flumeLogs目录下

在/opt/bin目录下新建rollinglog.sh，并添加如下内容：

	#!/bin/bash
	#定义日期格式
	dataformat=`date +%Y-%m-%d-%H-%M-%S`
	
	#复制access.log并重命名
	cp /var/log/nginx/access.log /var/log/nginx/access_$dataformat.log
	
	host=`hostname`
	sed -i 's/^/'${host}',&/g' /var/log/nginx/access_$dataformat.log
	#统计日志文件行数
	lines=`wc -l < /var/log/nginx/access_$dataformat.log`
	
	#将格式化的日志移动到flumeLogs目录下
	mv /var/log/nginx/access_$dataformat.log /var/log/nginx/flume-logs
	
	#清空access.log的内容
	sed -i '1,'${lines}'d' /var/log/nginx/access.log
	
	#重启nginx , 否则 log can not roll.
	kill -USR1 `cat /training/nginx/logs/nginx.pid`
	
	##返回给服务器信息
	ls -al /var/log/nginx/flume-logs/

编写启动Flume脚本 flume_start.sh，启动Flume

#!/bin/bash
/opt/pkg/flume-1.9.0/bin/flume-ng agent --conf ./conf/ -f ./conf/log2hdfs.conf --name a1 -Dflume.root.logger=INFO,console

编写停止Flume脚本 flume_stop.sh，停止Flume

#!/bin/bash

JAR="flume"

#停止flume函数
echo "begin to stop flume process.."
num=`ps -ef|grep java|grep $JAR|wc -l`
echo "当前已经启动的flume进程数：$num"
if [ "$num" != "0" ];then
#正常停止flume
ps -ef|grep java|grep $JAR|awk '{print $2;}'|xargs kill -9
echo "进程已经关闭..."
else
echo "服务未启动，无须停止..."
fi

编写重启Flume脚本 flume_to_hdfs.sh，综合了前两个脚本

#!/bin/bash

#先停止正在启动的flume
./flume_stop.sh

nohup ./flume_start.sh > nohup_output.log 2>&1 &
echo "启动flume成功……"

内容总结

以上是互联网集市为您收集整理的Flume的安装与配置全部内容，希望文章能够帮你解决Flume的安装与配置所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1024535.html

来源：【匿名】

【上一篇】Sqoop环境搭建【下一篇】关于IE的RegExp.exec的问题

更多 ►

【Flume的安装与配置】教程文章相关的互联网学习教程文章

在安装D7时，需要用PhpMyAdmin创建数据库，不建议使用ROOT帐号而需要建立一个新的帐号。一般，建立一个新的账号，如foo，并同时建一个同名的数据库，选择localhost（如果是本地）。但是，建立起来的数据库其collation默认为latin1_swedish_ci，怎么修改呢？这个问题困绕了很久。其实，只有选择你想修改的数据库，如foo，再选择operations->collation就可以选择你需要的，比如utf8_general_ci. Just as simple as that!Drupal 7 安...

epicgta5突然要重新安装解决方法【图】

很多小伙伴都在epic平台上领取了免费的gta5，但是在玩的时候很多都遇到了突然要重新安装的提示，那么这是怎么回事呢？下面就一起来看看解决方法吧。epicgta5突然要重新安装怎么办：1、首先先检查游戏的完整性，查看游戏是否完整。2、还有就是在进行电脑杀毒清理的时候不小心把游戏的重要文件删除了，使用360安全卫士的强力修复进行检修并安装即可。3、游戏可能不是很稳定，可以尝试去Social Club下载破解补丁。4、最后就是游戏的程...

自动化运维之-PXE实现系统批量自动安装【代码】【图】

本节索引需求分析PXE简介整体方案服务选择功能实现安装调试错误分析总结1 需求分析随着互联网技术的不断壮大，服务器数量也在不断的增加，IT运维已经成为IT服务内涵中重要的组成部分。面对越来越复杂的业务，面对越来越多样化的用户需求，不断扩展的IT应用需要越来越合理的模式来保障IT服务能灵活便捷、安全稳定地持续保障，这种模式中的保障因素就是IT运维。从初期的几台服务器发展到庞大的数据中心，单靠人工已经无法满足在技术、...

Win7安装pycrypto报错ucrt\inttypes.h(26): error C2061: syntax error: identifier ‘intmax_t‘【图】

运行环境 1.系统环境64位WIN7 2.安装了VS2019 3.安装了64位的python 3.7.4 解决办法 1.将C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\include下的stdint.h 复制到C:\Program Files (x86)\Windows Kits\10\Include\10.0.18362.0\ucrt 2.编辑C:\Program Files (x86)\Windows Kits\10\Include\10.0.18362.0\ucrt下的inttypes.h 将#include <stdint.h>改为#include “stdint.h”, 目的是让它使用上面第一点复制的头文件st...

解决Termux无法通过metasploit.sh安装Metasploit的问题【图】

其实Termux官方现在已经在pkg源中引入了metasploit，之前的所有安装方法都无法安装，无论你是清华的源还是Termux得源。这是Termux Wiki中关于Metasploit的最新安装方案，只需要执行两行命令就可以安装Metasploit：pkg install unstable-repo pkg install metasploit ?

HANA S4 1709 数据库安装和备份恢复测试【图】

虚拟机准备 CPU 24 核心内存：128G 硬盘 600G 操作系统：100G 安装suse 企业版 sp2 数据盘：500G 挂载到 /hana 目录下 esxi添加磁盘磁盘分区 #fdisk /dev/sdb N P ENTER ENTER W saptest:~ # fdisk /dev/sdb 欢迎使用 fdisk (util-linux 2.28)。更改将停留在内存中，直到您决定将更改写入磁盘。使用写入命令前请三思。设备不包含可识别的分区表。 Created a new DOS disklabel with disk identifier 0x74563068. 命令(输...

驱动精灵安装打印机驱动的方法【图】

在我们日常使用驱动精灵软件时，应该有很多用户遇到过需要安装打印机驱动的情况，那么驱动精灵怎么安装打印机驱动呢?下面小编就为大家带来驱动精灵安装打印机驱动的方法，感兴趣的小伙伴快来看看吧。驱动精灵安装打印机驱动的方法step1.打开驱动精灵软件，点击驱动管理，会看到红色的设备异常，双击安装。step2.全程自动安装，无需点击step3.在开始菜单设置中打开打印机和传真step4.右键打印机查看属性，选择打印测试页。step5.查看...

2.1安装deno【代码】

Deno可在macOS，Linux和Windows上运行。Deno是单个二进制可执行文件。它没有外部依赖。下载并安装 deno_install提供了方便脚本来下载和安装二进制文件。使用Shell（macOS和Linux）： curl -fsSL https://deno.land/x/install/install.sh | sh使用PowerShell（Windows）： iwr https://deno.land/x/install/install.ps1 -useb | iex使用Scoop（Windows）： scoop install deno使用Chocolatey（Windows）： choco install deno使用...

iptables安装【代码】

1.安装iptable iptable-service#先检查是否安装了iptables service iptables status #安装iptables yum install -y iptables #升级iptables yum update iptables #安装iptables-services yum install iptables-services2.禁用/停止自带的firewalld服务systemctl stop firewalld.service && sudo systemctl disable firewalld.service3.将iptables置为开机自启chkconfig iptables on4.iptables的常用命令service iptables start ...

解决win10 20H2安装ensp依赖的问题【代码】

解决win10 20H2安装ensp依赖的问题 virtualbox 下载地址：eNSP_V100R003C00SPC100 下载地址：最近把旧笔记本拿出来用了，重装了系统，想要安装ensp却发现了问题。ensp只支持virtualbox 5.2.x版本，但是win10对virtualbox的兼容性却有很大的问题，多次尝试发现virtualbox5.2.40可以在win10下正常运行。 virtualbox 下载地址： https://download.virtualbox.org/virtualbox/5.2.40/VirtualBox-5.2.40-137108-Win.exeeNSP_V100R003C00...

安装SSL证书对服务器会有要求吗

SSL证书虽然是用来保护网站的安全，但其实是安装在服务器上的。那么问题就来了，安装SSL证书对服务器可有什么要求？这里主要针对服务器系统和操作面板来说一下。对于服务器操作系统，安装SSL证书没有任何要求。但是在部署SSL证书后，部分SSL/TLS协议会对服务器操作系统有要求，协议版本越高，安全性越强，但是兼容性越差，例如TLS1.2协议版本仅支持以下操作系统版本： WIN 2008 R2 IIS 7 以上版本 CentOS 6+ OpenSSL 1.0.1c+ Apac...

pytest 常用插件安装

1、html报告插件：pip install pytest-htmlpytest可以生产多种样式的报告：⑴ 生成junitXML 格式的测试报告： --junitxml=path⑵ 生成result log 格式的测试报告： --resultlog=report\xxx.txt⑶ 生成html 格式的测试报告： --html=report\xxx.html 2、重运行插件：插件名称：rerunfailures安装方法：pip install pytest-rerunfailures使用方式：⑴ pytest --reruns 重试次数例：pytest --reruns 2 表示：运行失败的用例可以重新...

yum 记一次安装时的报错

我电脑是centos 6.8,我先安装了openslp-2.0.0-3.el6.x86_64.rpm 然后我更改了yum源配置文件，我将updates源给禁用了，只保留os源和extras源，注意了，os源的openslp-devel的版本是openslp-devel-2.0.0-2.el6.x86_64.rpm 而此版本依赖的包是openslp-2.0.0-2.el6.x86_64.rpm，并非是我系统里已经装上的openslp-2.0.0-3.el6.x86_64.rpm版本，这个时候我再yum -y install openslp-devel，就报错了，所以，yum命令是无法自动给被依赖的软...

helm-安装与使用

Helm 可以理解为 Kubernetes 的包管理工具，可以方便地发现、共享和使用为Kubernetes构建的应用。参考： https://blog.csdn.net/BigData_Mining/article/details/88794430 一、基本概念 1.Helm的三个基本概念 Chart：Helm应用（package），包括该应用的所有Kubernetes manifest模版，类似于YUM RPM或Apt dpkg文件 Repository：Helm package存储仓库 Release：chart的部署实例，每个chart可以部署一个或多个release 2.Helm工作原理...

xshell 安装遇到1603错误解决【图】

安装xshell时出现以下界面解决办法：在运行里输入regedit打开注册表编辑器找到 HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control 将 RegistrySizeLimit（REG_DWORD类型的）的值改为 FFFFFFFF （10进制就是 4294967295，原值是8ca7290）如果不存在该值就创建一个重新启动计算机2次,注意是2次这也是导致Windows Modules Installer服务无法启动的原因出现这个问题的主要原因是对注册空间进行了限制，只要修正过来就可以了 —...

首页 / 更多教程 / Flume的安装与配置

Flume的安装与配置

内容导读

内容图文

安装

测试

脚本

内容总结

内容备注

内容手机端

【Flume的安装与配置】教程文章相关的互联网学习教程文章

Drupal 7 安装时的数据库问题

epicgta5突然要重新安装解决方法【图】

自动化运维之-PXE实现系统批量自动安装【代码】【图】

Win7安装pycrypto报错ucrt\inttypes.h(26): error C2061: syntax error: identifier ‘intmax_t‘【图】

解决Termux无法通过metasploit.sh安装Metasploit的问题【图】

HANA S4 1709 数据库安装和备份恢复测试【图】

驱动精灵安装打印机驱动的方法【图】

2.1安装deno【代码】

iptables安装【代码】

解决win10 20H2安装ensp依赖的问题【代码】

安装SSL证书对服务器会有要求吗

pytest 常用插件安装

yum 记一次安装时的报错

helm-安装与使用

xshell 安装遇到1603错误解决【图】

更多教程 - 最新教程

更多教程 - 最热教程