首页 / DOCKER / docker-compose部署elfk

docker-compose部署elfk

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了docker-compose部署elfk，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含9847字，纯文字阅读大概需要15分钟。

内容图文

通过docker-compose部署elfk。elfk最新版本：7.5.1

mkdir -p /home/elfk/{elasticsearch,logstash,kibana,filebeat}/configmkdir /home/elfk/elasticsearch/data /home/elfk/logstash/pipelinecd /home/elfkecho 'ELK_VERSION=7.5.1' > .env

tree ..├── docker-compose.yml
├── elasticsearch
│   ├── config
│   │   └── elasticsearch.yml
│   ├── data
│   └── Dockerfile
├── filebeat
│   ├── config
│   │   └── filebeat.yml
│   └── Dockerfile
├── kibana
│   ├── config
│   │   └── kibana.yml
│   └── Dockerfile
└── logstash
    ├── config
    │   └── logstash.yml
    ├── Dockerfile
    └── pipeline
        └── logstash.conf

10 directories, 10 files

elasticsearch

Dockerfile

vim /home/elfk/elasticsearch/Dockerfile

ARG ELK_VERSION=7.5.1

# https://github.com/elastic/elasticsearch-docker
# FROM docker.elastic.co/elasticsearch/elasticsearch:${ELK_VERSION}
FROM elasticsearch:${ELK_VERSION}
# Add your elasticsearch plugins setup here
# Example: RUN elasticsearch-plugin install analysis-icu

elasticsearch.yml

vim /home/elfk/elasticsearch/config/elasticsearch.yml

---## Default Elasticsearch configuration from Elasticsearch base image.## https://github.com/elastic/elasticsearch/blob/master/distribution/docker/src/docker/config/elasticsearch.yml#cluster.name: "docker-cluster"network.host: 0.0.0.0## X-Pack settings## see https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-xpack.html#xpack.license.self_generated.type: trial                #trial为试用版，一个月期限，可更改为basic版本xpack.security.enabled: truexpack.monitoring.collection.enabled: truehttp.cors.enabled: truehttp.cors.allow-origin: "*"http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

logstash

Dockerfile

vim /home/elfk/logstash/Dockerfile

ARG ELK_VERSION=7.5.1

# https://github.com/elastic/logstash-docker
# FROM docker.elastic.co/logstash/logstash:${ELK_VERSION}
FROM logstash:${ELK_VERSION}

# Add your logstash plugins setup here
# Example: RUN logstash-plugin install logstash-filter-json

RUN logstash-plugin install logstash-filter-multiline \
    && logstash-plugin install logstash-output-zabbix

logstash.yml

vim /home/elfk/logstash/config/logstash.yml

---## Default Logstash configuration from Logstash base image.## https://github.com/elastic/logstash/blob/master/docker/data/logstash/config/logstash-full.yml#http.host: "0.0.0.0"xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]## X-Pack security credentials#xpack.monitoring.enabled: truexpack.monitoring.elasticsearch.username: elasticxpack.monitoring.elasticsearch.password: changemexpack.monitoring.collection.interval: 10s

pipeline

vim /home/elfk/logstash/pipeline/logstash.conf

input {
    tcp {
    	port => 5000
    }
}

#input {
#    beats {
#        port => 5044
#    }
#}

output {
    elasticsearch {
    	hosts => "elasticsearch:9200"
    	user => "elastic"
    	password => "changeme"
    }
}

kibana

Dockerfile

vim /home/elfk/kibana/Dockerfile

ARG ELK_VERSION=7.5.1

# https://github.com/elastic/kibana-docker
# FROM docker.elastic.co/kibana/kibana:${ELK_VERSION}
FROM kibana:${ELK_VERSION}

# Add your kibana plugins setup here
# Example: RUN kibana-plugin install

kibana.yml

vim /home/elfk/kibana/config/kibana.yml

---## Default Kibana configuration from Kibana base image.## https://github.com/elastic/kibana/blob/master/src/dev/build/tasks/os_packages/docker_generator/templates/kibana_yml.template.js#server.name: kibanaserver.host: "0"elasticsearch.hosts: [ "http://elasticsearch:9200" ]xpack.monitoring.ui.container.elasticsearch.enabled: true## X-Pack security credentials#elasticsearch.username: elasticelasticsearch.password: changeme

docker-compose.yml

vim /home/elfk/docker-compose.yml

version: '3.7'services:
  elasticsearch:
    build:
      context: elasticsearch/      args:
        ELK_VERSION: $ELK_VERSION    volumes:
      - type: bind        source: ./elasticsearch/config/elasticsearch.yml        target: /usr/share/elasticsearch/config/elasticsearch.yml        read_only: true
      - type: volume        source: elasticsearch        target: /usr/share/elasticsearch/data    ports:
      - "9200:9200"
      - "9300:9300"
    environment:
      ES_JAVA_OPTS: "-Xmx256m -Xms256m"
      ELASTIC_PASSWORD: changeme      discovery.type: single-node    networks:
      - elk  logstash:
    depends_on:
      - elasticsearch    build:
      context: logstash/      args:
        ELK_VERSION: $ELK_VERSION    volumes:
      - type: bind        source: ./logstash/config/logstash.yml        target: /usr/share/logstash/config/logstash.yml        read_only: true
      - type: bind        source: ./logstash/pipeline        target: /usr/share/logstash/pipeline        read_only: true
    ports:
      - "5000:5000"
      - "9600:9600"
    environment:
      LS_JAVA_OPTS: "-Xmx256m -Xms256m"
    networks:
      - elk  kibana:
    depends_on:
      - elasticsearch    build:
      context: kibana/      args:
        ELK_VERSION: $ELK_VERSION    volumes:
      - type: bind        source: ./kibana/config/kibana.yml        target: /usr/share/kibana/config/kibana.yml        read_only: true
    ports:
      - "5601:5601"
    networks:
      - elkvolumes:
  elasticsearch:
    driver: local    driver_opts:
      type: none      o: bind      device: /home/elfk/elasticsearch/data      
networks:
  elk:
    driver: bridge

if [ $(grep 'vm.max_map_count' /etc/sysctl.conf |wc -l) -eq 0 ] ; \then echo 'vm.max_map_count=655360' >> /etc/sysctl.conf; \fisysctl -p

docker-compose up --build -d

docker psCONTAINER ID        IMAGE                COMMAND                  CREATED             STATUS              PORTS                                                      NAMES
448e2f464297        elfk_logstash        "/usr/local/bin/dock…"   12 seconds ago      Up 9 seconds        0.0.0.0:5000->5000/tcp, 0.0.0.0:9600->9600/tcp, 5044/tcp   elfk_logstash_1
ca391653eb39        elfk_kibana          "/usr/local/bin/dumb…"   12 seconds ago      Up 9 seconds        0.0.0.0:5601->5601/tcp                                     elfk_kibana_1
2cd23fd30f61        elfk_elasticsearch   "/usr/local/bin/dock…"   14 seconds ago      Up 12 seconds       0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp             elfk_elasticsearch_1netstat -lntp

Active Internet connections (only servers)Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      52770/sshd          
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      23263/master        
tcp6       0      0 :::9200                 :::*                    LISTEN      127138/docker-proxy 
tcp6       0      0 :::9300                 :::*                    LISTEN      127126/docker-proxy 
tcp6       0      0 :::22                   :::*                    LISTEN      52770/sshd          
tcp6       0      0 ::1:25                  :::*                    LISTEN      23263/master        
tcp6       0      0 :::9600                 :::*                    LISTEN      127275/docker-proxy 
tcp6       0      0 :::5601                 :::*                    LISTEN      127237/docker-proxy 
tcp6       0      0 :::5000                 :::*                    LISTEN      127300/docker-proxy

filebeat

Dockerfile

vim /home/elfk/filebeat/Dockerfile

ARG ELK_VERSION=7.5.1

# https://github.com/elastic/beats-docker
# FROM docker.elastic.co/beats/filebeat:${ELK_VERSION}
FROM elastic/filebeat:${ELK_VERSION}
COPY config/filebeat.yml /usr/share/filebeat/filebeat.yml

filebeat.yml

vim /home/elfk/filebeat/config/filebeat.yml

---filebeat.inputs:- type: log  enabled: false
  paths:
    - /var/log/*.logfilebeat.config.modules:
  path: ${path.config}/modules.d/*.yml  reload.enabled: falseprocessors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  output.elasticsearch:
  hosts: ['elasticsearch:9200']
  username: elastic  password: changeme 
#output.logstash:
  # The Logstash hosts
  #hosts: ["localhost:5044"]

cd filebeat/

docker build -t elfk_filebeat:latest .

日志收集

登录kibana：

地址：ip:5601

账号：elastic，密码：changeme

docker-compose部署elfk - 文章图片

修改filebeat配置：

docker run -d \
  --name=filebeat \
  --user=root \
  -v /var/lib/docker/containers:/var/lib/docker/containers:ro \
  -v /var/run/docker.sock:/var/run/docker.sock:ro \
  -v /home/logs/nginx.log:/home/logs/nginx.log:rw \
  elfk_filebeat:latest filebeat -e -strict.perms=false \
  -E output.elasticsearch.hosts=["localhost:9200"]docker exec -it filebeat bashvi /usr/share/filebeat/filebeat.yml

---filebeat.inputs:- type: log  enabled: false
  paths:
    - /var/log/*.log- type: log  enabled: true
  paths:
    - /home/logs/nginx.logfilebeat.config.modules:
  path: ${path.config}/modules.d/*.yml  reload.enabled: falseprocessors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
 output.elasticsearch:
  hosts: ['elasticsearch:9200']
  username: elastic  password: changeme#output.logstash:
  #hosts: ["localhost:5044"]
  #enabled: true
  #worker: 1
  #compression_level: 3

docker restart filebeatmkdir /home/logsecho '该消息通过filebeat容器到达es容器，111！！！' > /home/logs/nginx.logecho '该消息通过filebeat容器到达es容器，222！！！' >> /home/logs/nginx.logecho '该消息通过filebeat容器到达es容器，333！！！' >> /home/logs/nginx.log

docker-compose部署elfk - 文章图片

kibana创建index，可以看到一个filebeat index自动生成，因为没有在filebeat配置文件中自定义index。

docker-compose部署elfk - 文章图片

这就达到了收集日志的目的。

将所有要收集的日志全部存放在宿主机的一个目录下，然后将该目录映射到filebeat容器内（注意给rw权限），接着在filebeat配置文件中配置收集并自定义index，从而完成日志收集。

这里只是演示filebeat将日志直接传输到elasticsearch的过程，其实并不太合适，因为日志没有做任何处理。

应该将filebeat的日志传输至logstash，在logstash中做日志处理，然后由logstash传输至elasticsearch，最后在kibana上展示出来，这样还可以结合zabbix完成错误日志告警的目的。

已存放至个人gitgub：docker-compose

内容总结

以上是互联网集市为您收集整理的docker-compose部署elfk全部内容，希望文章能够帮你解决docker-compose部署elfk所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1000790.html

来源：【匿名】

【上一篇】Docker框架使用系列教程（六）创建镜像【下一篇】一个查看xhprof数据文件的docker镜像

更多 ►

【docker-compose部署elfk】教程文章相关的互联网学习教程文章

zeebe docker-compose 运行（包含monitor）【代码】【图】

环境准备docker-compose 文件version: "3" services:db:image: oscarfonts/h2container_name: zeebe_dbports:- "1521:1521"- "81:81"monitor:image: camunda/zeebe-simple-monitorenvironment:- spring.datasource.url=jdbc:h2:tcp://db:1521/zeebe-monitor- io.zeebe.monitor.connectionString=app:26500ports:- "8080:8080"app:image: camunda/zeebeenvironment:- ZEEBE_LOG_LEVEL=debugvolumes:- ./zeebe-simple-monitor-export...

Docker集群实验环境布署--swarm【7 让docker客户端支持docker-compose】

Docker-Compose是一个部署多个容器的简单但是非常必要的工具. 登录Docker客户端的服务器（默认是安装了docker-engine的服务器），再安装compose插件# yum install python-pip python-dev -y# pip install -U docker-compose 查看版本# docker-compose -vdocker-compose version 1.9.0, build 2585387 # 查看帮助# docker-compose -h 以一个3容器复杂度较高的gitlab为例在当前目录创建一个docker-compose.yml 文件如下(当然也可以...

构建一个应用，并在docker compose里运行起来【代码】【图】

构建一个应用，并在docker compose里运行起来利用python3.7+flask+redis实现一个点击计数器1.定义一个应用依赖新建一个项目文件夹，并进入项目目录，以下无特殊说明都表示在当前项目目录下的操作$ mkdir composetest $ cd composetest 编写应用代码app.pyimport timeimport redis from flask import Flaskapp = Flask(__name__) cache = redis.Redis(host=‘redis‘, port=6379)def get_hit_count():retries = 5while True:try:ret...

附003.Docker Compose命令详解【代码】

一 Docker Compose命令格式 1 Usage:2 docker-compose [-f <arg>...] [options] [COMMAND] [ARGS...]3 docker-compose -h|--help二 Docker Compose命令参数及解释 1 Usage:2 docker-compose [-f <arg>...] [options] [COMMAND] [ARGS...]3 docker-compose -h|--help4 5 Options:6 -f, --file FILE #指定一个用于替换默认的yml配置文件，默认为docker-compose.yml7 -p, --project-name NAME #指定一...

Docker-Compose一键部署Ningx+.Net Core+Redis集群【代码】

在看该文章前，你需要对Docker有所了解。1、创建WebApp应用程序我使用的是.Net Core 1.0.1版本，创建一个MVC应用程序，并添加对Redis的引用。因为这些很基础，也很简单，这里就不详细说明了，特别提一下有关多站点会话保持问题，这里介绍两种方式，一种方式就是使用我博客里所说的方法 http://www.cnblogs.com/anech/p/6873604.html,还有一种方式就是采用Nginx代理的会话保持方案。2、创建WebApp的Dockerfile文件FROM microsoft/a...

实用工具Docker-Compose的使用【代码】

docker-compose.yml的三大部分：version，services，networks，最关键的是services和networks两部分主要包括以下部分：设置网络模式使用端口映射设置文件共享管理多个容器docker-compose.yml version: ‘3‘ services:nginx:image: mycentos:nginxnetwork_mode: "host"volumes:- /home:/usr/local/nginx/html- /var/logs/nginx/logs:/usr/local/nginx/logscommand: /usr/local/nginx/sbin/nginx -g "daemon off;"redis:image: myc...

Docker-Compose部署ELK【代码】【图】

1.概述1.1定义对于大规模的日志，需要集中化的管理。而ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。ELK是三种技术产品的简称，包括Elasticsearch、Logstash、Kibana，可在项目中作为日志框架使用。1.2功能说明Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。K...

Docker-compose常用命令【代码】

1.github地址：https://github.com/TodorText/lnmp.git这个是根据laradock精简的lnmp，并且摘除了从容器挂载数据卷2.命令docker-compose --help你会看到如下这么多命令build Build or rebuild services bundle Generate a Docker bundle from the Compose file config Validate and view the Compose file create Create services down Stop and remove cont...

docker compose 命令【代码】

我在 xshell 中使用停止服务 docker-compose stop docker-compose stop apieq移除容器 docker rm -f $(docker ps -aq) docker rm -f apieq移除镜像 docker rmi -f $(docker images -aq) docker rmi -f $(docker images apieq)导入父镜像 docker load -i mycentoscn.tar启动镜像 docker-compose up -d docker-compose up -d apieq运行状态 docker-compose ps查看运行情况 docker-compose logs -f --tail 500 zuul==============...

Docker Compose多容器部署【代码】【图】

一、wordpress部署这里先以wordpress的部署为例引出Docker Compose，wordpress的部署需要wordpress和mysql的镜像：（一）准备环境1、拉取wordpress镜像[root@docker-node1 /]# docker pull wordpress2、拉取mysql镜像[root@docker-node1 /]# docker pull mysql3、镜像列表[root@docker-node1 /]# docker image lsREPOSITORY TAG IMAGE ID CREATED SIZE wordpress ...

Docker之路-容器编排"swarm+compose"【代码】

创建服务我们知道使用 docker-compose.yml可以来一次配置、启动多个容器，在 Swarm 集群中也可以使用 compose 文件（docker-compose.yml）来配置、启动多个服务。使用 docker service create 一次只能部署一个服务，使用 docker-compose.yml 我们可以一次启动多个关联的服务。我们以在 Swarm 集群中部署 WordPress 为例进行说明（官方例子）:# docker-compose.yml version: "3"services:wordpress:image: wordpressports:- 80:80...

使用docker-compose 一键部署你的分布式调用链跟踪框架skywalking 原创一线【代码】【图】

一旦你的程序docker化之后，你会遇到各种问题，比如原来采用的本地记日志的方式就不再方便了，虽然你可以挂载到宿主机，但你使用 —scale 的话，会导致记录日志异常，所以最好的方式还是要做日志中心化，另一个问题，原来一个请求在一个进程中的痉挛失败，你可以在日志中巡查出调用堆栈，但是docker化之后，原来一个进程的东西会拆成几个微服务，这时候最好就要有一个分布式的调用链跟踪，类似于wcf中的svctraceview工具。一：搭建...

docker supervisor + compose【图】

一： Supervisor Docker 容器在启动的时候开启单个进程，比如，一个 ssh 或者 apache 的 daemon 服务。但我们经常需要在一个机器上开启多个服务，这可以有很多方法，最简单的就是把多个启动命令放到一个启动脚本里面，启动的时候直接启动这个脚本。例如：docker run –d 镜像 /run.sh 另外就是安装进程管理工具。使用 Supervisor 可以更好的控制、管理、重启我们希望运行的进程。Supervisor是一个进程控制系统. ...

docker-compose 学习【代码】

docker-compose: 多容器依赖构建工具docker-compose -f docker-compose.yml up # -f 指定一个文件docker-compose build # 构建镜像docker-compose up -d # 不显示logdocker-compose up # 默认构建docker-compose.ymldocker-compose imagesdocker-compose exec service(mysql) bash # 进入容器docker-compose ps # 类似docker psdocker-compose stop # 停止不删除容器 docker-compose start # 启动docker-compose down # 停止并删除...

docker-compose之基础（1）【代码】

安装：　　1）经常因为由于网络原因，导致安装不成功curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose # chmod +x /usr/local/bin/docker-compose 　　2）较为麻烦，安装较为稳定1、安装python-pipyum -y install epel-releaseyum -y install python-pip2、安装docker-composepip install docker-compose 查看docker-compose版本：do...

DOCKER - 技术教程分类

Docker 教程 Docker 架构 Debian Docker 安装 CentOS Docker 安装 Docker 镜像加速 Docker Hello World Docker 镜像使用 Docker 容器连接 Docker 仓库管理 Docker Dockerfile Docker Compose Swarm 集群管理 Docker 安装 Centos Docker 安装 MySQL Docker 安装 Redis Docker 安装 MongoDB Docker 命令大全 docker 全部

DOCKER - 最热教程

有时在Docker中导入数据Mysql非常慢 dockerfile中设置python虚拟环境+gunic...docker中编译nodejs并使用nginx启动 Gdal4Java Docker镜像创建使用Yearning 做MYSQL审计docker+K8S部...PHP-docker容器中的环境变量 Docker – 安装php-memcached扩展无法正...Ubuntu编译安装HAprox+Keepalived+MySQ...linux – 在Dockerfile中找不到tar命令修改 docker 的运行根目录

首页 / DOCKER / docker-compose部署elfk

docker-compose部署elfk

内容导读

内容图文

elasticsearch

logstash

kibana

docker-compose.yml

filebeat

日志收集

内容总结

内容备注

内容手机端

【docker-compose部署elfk】教程文章相关的互联网学习教程文章

DOCKER - 技术教程分类

DOCKER - 最新教程

DOCKER - 最热教程