结合Docker快速搭建ELK日志收集分析平台
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了结合Docker快速搭建ELK日志收集分析平台,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含4341字,纯文字阅读大概需要7分钟。
内容图文
结合Docker快速搭建ELK日志收集分析平台
2017-03-27 09:39 阅读 172 评论 0
作者:马哥Linux运维-Eason
ELK Stack
ELK (Elasticsearch + Logstash + Kibana),是一个开源的日志收集平台,用于收集各种客户端日志文件在同一个平台上面做数据分析。
Introduction
Elasticsearch, 基于json分析搜索引擎
Logstash, 动态数据收集管道
Kibana, 可视化视图将elasticsearh所收集的data通过视图展现
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/09c8caa.jpg" width="640" height="425" />
工作流程
Background
起初我们搭建ELK platform都是通过rpm包或者repo的形式直接setup在服务器机器上面,这给运维后期带来的一个问题就是,每起一个新的ELK platform都需要重新setup在新的机器上面,而从运维的角度去减少这样的重复性effort变得异常突出,下面是根据我自身的经验来介绍如何通过docker solution去快速启动一个新的ELK platform,而无需重新setup。
Prerequisite
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/20170327092958.png" width="596" height="87" />
1.Clone GIT folder到本地,branch: master
建议放在user HOME下面,eg:/home/user1/
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/20170327093009.png" width="456" height="72" />
2.根据你的需求选择配置环境变量
a. Elasticsearch + Logstash + Kibana 运行在同一个机器下面,相关配置文件 : ~/elasticstack/.env
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/20170327093023.png" width="527" height="484" />
b. Elasticsearch + Logstash + Kibana 分别分开运行在不同的机器下面,各自相关的配置文件如下:
-
Elasticsearch: ~/elasticstack/elasticsearch/.env
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/1ee5aeb.jpg" width="560" height="159" />
-
Logstash: ~/elasticstack/logstash/.env
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/ca281e2.jpg" width="512" height="212" />
-
Kibana: ~/elasticstack/kibana/.env
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/cf9e4b4.jpg" width="512" height="251" />
上述配置文件包含的配置属性均属于基本配置属性,为了可以更方便的修改配置文件,结合docker-compose自动搜索并加载.env的特性,将ELK所需要的基本配置抽离出来作为单个.env文件来修改配置,而不需要通过逐个配置文件进行修改,下面对上述基本属性简单描述:
-
environment: 用来区分ELK platform的当前环境,通常有qa/prod,你也可以根据自己的情况指定为自己想要的value
-
E_LOCAL_DATA_PATH: 设置elasticsearch data存储在宿主机的相对路劲或者绝对路径,默认为/usr/data/
-
L_ELASTICSEARCH_HOST_ENV: 由于docker-compose里边设置了network_mode等于host,使得方便同一台机器上面方便logstash和elasticsearch通信,所以如果logstash和elasticsearch跑在同一台机器上面(a),可以直接使用localhost来指定连接elasticsearch host;如果logstash和elasticsearch在不同机器上(b),则需要指定对应elasticsearch所在机器的hostname
-
K_ELASTICSEARCH_HOST_IP: 和L_ELASTICSEARCH_HOST_ENV一样由于network_mode等于host,如果kibana和elasticsearch在同一台机器上,只需要指定0.0.0.0 or 127.0.0.1(经过多次试验,由于kibana自身加载yaml配置文件的方式貌似无法通过$获取环境变量,而是单纯获取对应properties的string,所以这里通过extra_link的方式在kibana的container里边添加了一个DNS record,所以需要使用IP而不是hostname);相应的如果处于不同的机器(b),需指定elasticsearch所在机器的IP。
以上配置属性都是启动ELK所需要的基本配置,如果有需要更多的配置,可以手动修改相应的配置文件或者联系微信lexmay 或email: eason.lau02@hotmail.com
3.配置完成后,使用docker-compose启动ELK service
关于docker-compose文件,通常不需要改动,你也可以根据自己的需求添加container的properties,你可以在docker-compose文件里看到上面配置的属性都当成环境变量传递进去,eg: ~/elasticstack/docker-compose.yml:
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/20170327093053.png" width="561" height="520" />
以上所用到的image都是自己构建然后放在hub.docker.com官网repository,相应Dockerfile构建如下 :
-
elasticsearh: ~/elasticstack/elasticsearch/Dockerfile
-
logstash: ~/elasticstack/logstash/Dockerfile
-
kibana: ~/elasticstack/kibana/Dockerfile
a. 运行在同一个机器,相关compose文件: ~/elasticstack/docker-compose.yml
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/20170327093112.png" width="436" height="70" />
b. 分开运行不同机器,相关compose文件:
Elasticsearch: ~/elasticstack/elasticsearch/docker-compose.yml
Logstash: ~/elasticstack/logstash/docker-compose.yml
Kibana: ~/elasticstack/kibana/docker-compose.yml
-
eg:
Elasticsearch in host1:
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/20170327093124.png" width="442" height="71" />
Logstash in host2:
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/20170327093138.png" width="485" height="71" />
Kibana in host3:
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/20170327093149.png" width="448" height="71" />
4.通过kibana host+5601端口访问查看启动效果,<kibana host>:5601
650) this.width=650;" src="http://tektea-img.b0.upaiyun.com/blog/2017/03/4e466f0.jpg" width="640" height="316" />
成功启动
如果看到上述界面,说明配置启动成功,你可以看到Unable to fetch mapping. Do you have indices match…,是因为还没有使用beats plugin将log发送到logstash或者elasticsearch,所以不能建立index。
** 文章所有步骤都是经过实践检验并可行,若有问题,下方请评论。
原文:http://alinu.blog.51cto.com/12638124/1911407
内容总结
以上是互联网集市为您收集整理的结合Docker快速搭建ELK日志收集分析平台全部内容,希望文章能够帮你解决结合Docker快速搭建ELK日志收集分析平台所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。