首页 / 日志 / 基于Centos 7.4 搭建ELK整合SpringBoot日志收集

基于Centos 7.4 搭建ELK整合SpringBoot日志收集

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了基于Centos 7.4 搭建ELK整合SpringBoot日志收集，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4795字，纯文字阅读大概需要7分钟。

内容图文

基于Centos 7.4搭建es7.12.0+logstash-7.12.0+kibana-7.12.0（ELK）整合SpringBoot日志收集

注：Skywalking和logstash可共用一个ES，根据实际性能要求判断是否需要独立使用。

ELK简介：

　　ELK是Elasticsearch+Logstash+Kibana简称

Elasticsearch：是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，现在是使用最广的开源搜索引擎之一。
Logstash：简单来说就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端，与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供了很多功能强大的滤网以满足你的各种应用场景。
Kibana：是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图标、表格、地图等，kibana能够很轻易的展示高级数据分析与可视化。

　　ELK实现的日志采集的核心是，通过 logstash 将应用系统的日志通过 input 收集，然后通过内部整理，通过 output 输出到 Elasticsearch 中，其实就是建立了一个 index，然后 kibana作为可视化平台，将 ES 的index进行输出到平台，通过图表的方式进行展示。

环境准备：

　　JDK: 1.8

　　OS： CentOS Linux release 7.4.1708 (Core)

　　elasticsearch：7.12.0

　　kibana：7.12.0

　　logstash：7.12.0

环境搭建：

　　其中 elasticsearch 的搭建可以参考 https://www.cnblogs.com/yizhipanghu/p/14738492.html, 在这里就不介绍了。

　　启动 Elasticsearch

一、安装Kibana

1、进入安装包路径

[root@skywalking skywalking]# cd /usr/local/skywalking

2、解压软件包

[root@localhost skywalking]# tar -zxvf kibana-7.12.0-linux-x86_64.tar.gz

3、修改配置文件

[root@skywalking skywalking]# vim /usr/local/skywalking/kibana-7.12.0-linux-x86_64/config/kibana.yml
# 服务端口号：
server.port: 5601
# 服务IP地址：
#server.host: "localhost"
server.host: "10.10.10.10"
# ES链接地址：
#elasticsearch.url: "localhost"
elasticsearch.url: "http://10.10.10.10:9200"
# 配置pid文件存储运行Kibana时的进程号，便于用kill -9 `cat /var/run/kibana.pid`来杀进程。
pid_file: /home/skywalking/es/kibana-6.2.4-linux-x86_64/run/kibana.pid
# 配置Kibana的日志输出位置：
logging.dest: /home/skywalking/es/kibana-6.2.4-linux-x86_64/kibana-log/kibana.log
#创建日志文件夹和进程文件夹
[root@skywalking skywalking]# mkdir -p /usr/local/skywalking/kibana-7.12.0-linux-x86_64/run/
[root@skywalking skywalking]# mkdir -p /usr/local/skywalking/kibana-7.12.0-linux-x86_64/kibana-log/

4、开放端口：

[root@skywalking skywalking]# firewall-cmd --list-ports
[root@skywalking skywalking]# firewall-cmd --zone=public --add-port=5601/tcp --permanent
[root@skywalking skywalking]# firewall-cmd --reload

5、目录赋权限

[root@skywalking skywalking]# chown -R es:es /usr/local/skywalking/kibana-7.12.0-linux-x86_64

6、启动

[root@skywalking skywalking]# cd /usr/local/skywalking/kibana-7.12.0-linux-x86_64/bin/
[root@skywalking bin]# su es
[es@skywalking bin]$ nohup ./kibana &

#在后台不输出日志方式运行
[es@skywalking bin]$ nohup ./kibana > /dev/null 2>&1 &

7、访问kibana页面

http://10.10.10.10:5601

技术分享图片

二、安装logstash

1、进入安装包路径

[root@skywalking skywalking]# cd /usr/local/skywalking
[root@skywalking skywalking]# ll
drwxrwxr-x. 1110011002185 4月  3017:05 apache-skywalking-apm-bin-es7
-rw-r--r--.  1 root root 184816700 4月  3016:59 apache-skywalking-apm-es7-8.5.0.tar.gz
drwxr-xr-x. 10 es   es         167 4月  3015:10 elasticsearch-7.12.0
-rw-r--r--.  1 root root 327497331 4月  3015:03 elasticsearch-7.12.0-linux-x86_64.tar.gz
drwxr-xr-x. 12 es   es         239 4月  3015:49 kibana-7.12.0-linux-x86_64
-rw-r--r--.  1 root root 281022115 4月  3015:04 kibana-7.12.0-linux-x86_64.tar.gz
-rw-r--r--.  1 root root 368429061 5月   814:42 logstash-7.12.0-linux-x86_64.tar.gz
[root@skywalking skywalking]#

2、解压软件包

[root@localhost skywalking]# tar -zxvf logstash-7.12.0-linux-x86_64.tar.gz

3、在config文件夹下添加 test.conf 文件，内容如下：

[root@skywalking skywalking]# cat logstash-7.12.0/config/test.conf
input{
        tcp {
                mode => "server"
                host => "10.10.10.10"   #logstash主机IP，我这里是本机IP
                port => 9061            #logstash服务端口，进行采集的端口
                codec => json_lines     #解码器，有的版本需单独安装
        }
}
output{
        elasticsearch{
                hosts=>["10.10.10.10:9200"]    #ES地址和端口
                index => "springboot-study-%{+YYYY.MM.dd}"       #在ES生成的名称
                }
        stdout{codec => rubydebug}
}
[root@skywalking skywalking]#

4、启动logstash

[root@skywalking skywalking]# cd logstash-7.12.0/
[root@skywalking logstash-7.12.0]# ./logstash -f  ../config/test.conf

5、Spring boot微服务中添加依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>6.0</version>
</dependency>

6、在resources下添加logback-spring.xml 只需把下面ip地址修改一下即可

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/base.xml" />

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>10.10.10.10:9061</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
        <appender-ref ref="CONSOLE" />
    </root>
</configuration>

7、application.properties 修改配置：

logging.config = classpath:logback-spring.xml

8.然后启动springboot ，在对应的controller 里面打印一些日志，然后就可以看到启动 Logstash 的控制台有所输出，就可以了。

9.登录kibana http://10.10.10.10:5601/ ，点击导航栏 monitoring 模块 ---> 点击 Indices ：

原文：https://www.cnblogs.com/yizhipanghu/p/14750175.html

内容总结

以上是互联网集市为您收集整理的基于Centos 7.4 搭建ELK整合SpringBoot日志收集全部内容，希望文章能够帮你解决基于Centos 7.4 搭建ELK整合SpringBoot日志收集所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1062037.html

来源：【匿名】

【上一篇】python之写日志模块【下一篇】php错误日志怎么看

更多 ►

【基于Centos 7.4 搭建ELK整合SpringBoot日志收集】教程文章相关的互联网学习教程文章

springmvc学习日志四【代码】

一、restful风格设置restful风格无需在添加jar包，只需在之前示例的基础上设置请求处理方式建立实体类publicclass User {private String name;private String password;private String phone; }建立jsp页面，向控制层传输数据和提交方式<%@ page language="java" contentType="text/html; charset=UTF-8"pageEncoding="UTF-8"%> <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>Insert title here</title> <script t...

Spring Boot AOP 学习实践：请求日志记录和注解式分布式锁【代码】

AOP 概念AOP 是一种可以通过预编译方式和运行期动态代理方式实现在不修改已有源代码的情况下给程序动态添加统一功能的技术，它的全称是 Aspect Oriented Programming，中文被译为面向切面编程。AOP 可以看作是面向对象编程的一种补充，也可以看作是对设计模式的更高级别抽象，它被广泛应用于处理一些具有横切性质的系统级服务，比如日志记录、性能统计、安全检查、异常处理、事务管理，等等。AOP 技术的关键在于为现有的类生成代理...

SpringBank 开发日志一种简单的拦截器设计实现【代码】

当交易由Action进入Service之前，需要根据不同的Service实际负责业务的不同，真正执行Service的业务逻辑之前，做一些检查工作。这样的拦截器应该是基于配置的，与Service关联起来的。/*** @author wangxin* @contact 408657544@qq.com* @date Jul 22, 2017 * @Description: 所有TransactionController的抽象父类，主要作用为以一种低耦合的方式调用Service*/publicabstractclass BaseController {privatefinal Logger log = Logger...

SpringBoot与日志【代码】【图】

1. 日志框架日志抽象层: JCL(Jakarta Commons Logging)SLF4j(Simple Logging Facade for Java)jboss-logging日志实现: Log4jJUL(java.util.logging)Log4j2Logback日志级别,由低到高 logger.trace()logger.debug()logger.info()logger.warn()logger.error()SpringBoot选用SLF4J和Logback,引入其他框架的时候,需要把该框架依赖的日志框架排除;2. SLF4J 使用// 需要导入 slf4j.jar 和 logback.jar import org.slf4j.Logger; import or...

SpringBoot（八）-- 日志【代码】

一、介绍　　SpringBoot内部使用Commons Logging来记录日志，但也保留外部接口可以让一些日志框架来进行实现，例如Java Util Logging,Log4J2还有Logback。如果你想用某一种日志框架来进行实现的话，就必须先配置，默认情况下，spring boot使用Logback作为日志实现的框架。　　${LOG_PATH}, Spring Boot配置文件中logging.path的值。　　配置logging.level.*来具体输出哪些包的日志级别。　　logging.level.root=INFO logging.leve...

SpringBoot-日志【代码】

目录日志的使用日志的级别日志输出格式SpringBoot修改日志的默认配置日志的使用import org.slf4j.Logger; import org.slf4j.LoggerFactory;public class HelloWorld {public static void main(String[] args) {Logger logger = LoggerFactory.getLogger(HelloWorld.class);logger.info("Hello World");} }日志的级别logger.trace("这是trace日志..."); logger.debug("这是debug日志..."); logger.info("这是info日志..."); logger....

Spring cloud微服务安全实战-7-9自定义日志采集的格式和内容【图】

怎么来控制输出的日志的格式。并且从日志里面提取出来我想要的一些信息。整个的message是一个大的json格式字符串。虽然是可以通过关键字搜索到。但是日志看起来并不舒服。在我们的控制台，日志实际上是这样的。可以很清楚的看到日志的内容。现在混在了json里面。看起来不舒服，而且有些字段丢失掉了。进程号就丢失了。控制日志输出格式以为内这里配置的是logstashEncoder，它就把我们整个的日志信息转成了json直接发出去了。 ...

spring aop环绕通知记录应用的日志【代码】

使用的框架是spring mvc+spring最近想利用spring aop的环绕通知来处理web的日志问题，总的来讲，如果在controller层做切入，则难监控实际运行情况，在service层做切入，则只能监控到service层的情况，通过捕捉service抛出的异常来记录日志，对于目前本人应用而言，已经足够了，先将记录如下：代码：@Component @Aspect publicclass ExceptionLog {/*** 61 * 环绕通知需要携带ProceedingJoinPoint类型的参数* 62 * 环绕通...

【spring boot 学习笔记】日志相关【代码】

1. 如何启用日志？maven依赖中添加：spring-boot-starter-logging<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-logging</artifactId> </dependency> 实际开发中我们不需要直接添加该依赖。你会发现spring-boot-starter其中包含了 spring-boot-starter-logging，该依赖内容就是 Spring Boot 默认的日志框架 logback。例如：spring-boot-starter-thymeleaf。此外，spring-boot-starter...

Spring Boot 2.x基础教程：找回启动日志中的请求路径列表【代码】

如果您看过之前的Spring Boot 1.x教程，或者自己原本就对Spring Boot有一些经验，或者对Spring MVC很熟悉。那么对于Spring构建的Web应用在启动的时候，都会输出当前应用创建的HTTP接口列表。比如下面的这段日志：2020-02-11 15:32:39.293 INFO 48395 --- [ main] o.s.w.s.handler.SimpleUrlHandlerMapping : Mapped URL path [/**/favicon.ico] onto handler of type [class org.springframework.web.servlet.resource...

Spring MVC 404 Not Found 无错误日志解决方案【图】

场景描述，使用Spring MVC 框架，进行数据保存,用firefox的firebug跟踪发现404 Not Found。分析：后台没有打印任何错误日志,无法分析问题所在。解决方案(由我朋友提供)在spring-mvc.xml 配置文件中加上一下红色部分的配置文件。在controller 下面添加 ControllerAdviceTest.java 文件(注意：必须是controller下面,因为在spring-mvc.xml 中配置了 component-scan)再次运行后台输出以下错误日志很明显表明,对象名称有问题,至此问...

SpringBoot+logback实现日志打印【代码】

logback介绍logback是一款开源的日志框架，内核重写了，是基于log4j基础进行改良的。其官网为logback.qos.ch。logback在性能上有很大提升，拥有更多特性。logback-core:是其它两个模块的基础模块logback-classic:log4j的改良版本，实现了Slf4j APIlogback-access:集成Servle环境时就需要logback了，可以提供Http访问的接口日志级别日志级别：ERROR, WARN, INFO, DEBUG or TRACE 有时候我们要获取更多的日志信息，就可以降低日志级别...

springBoot自带日志(logback)配置以及使用【代码】

springBoot日志(logback)配置以及使用1.简介刚从.net转为java，学习了springBoot,想起了当时工作中用.net记录日志，然后想用springBoot记录一下日志，从网上看了很多大神写的各种方法，挑了一种，自己用明白了，特意记录一下！2.配置因为logback是springBoot自带的日志工具，所以不需要单独添加依赖(不知道为什么不需要的，去maven配置文件里面进到springboot的父项目配置下自行查看，节点是 parent )，直接开始配置。2.1创建配置文...

Spring的日志管理【代码】

一、spring的日志依赖Logging是spring中唯一强制的外部依赖，spring中默认使用的日志是commons-logging，简称JCL，这里说的强制性，是因为在spring-core这个模块中引入了该依赖。不过，引入了该依赖，也无需做任何其他的配置，它是日志门面，它内部会有自己的算法去找日志门面的实现类，比如log4j,如果说没有引入其他日志依赖，它默认就会去找JDK自带的java.util.logging简称jul作为其日志实现类，所以说用起来还是赏心悦目的！二、...

springboot配置Log4j日志【代码】【图】

目录Pom.xml添加依赖在控制器记录日志使用AOP统一处理Web请求日志导入AOP依赖写一个切面类@(springboot配置Log4j日志) 首先要导入log4j属性文件 Log4j.properties在resources文件夹下导入log4j.properties文件，复制下面的内容时，每行后面如果有空格的话一定要去掉，log4j.appender.File.File为log日志存放的路径。log4j.rootLogger=INFO,Console,File log4j.appender.Console=org.apache.log4j.ConsoleAppender log4j.appender.C...

日志 - 相关标签

日志代码日志分类日志服务器日志格式日志管理日志级别日志系统

日志 - 最热教程

pt-query-digest解析MySQLBinlog日志文...详解Python中logging日志模块在多进程环...SQL Server 收缩日志清空删除大日志文...mysql查看执行sql语句的记录日志 ssh登录日志收集 Filebeat收集单个日志&json格式使用nginx访问服务器log日志 linux C中的多进程概念与log日志与部分...过滤nginx日志并添加防火墙拒绝访问 ce...Oracle如何决定日志切换到剩下的那个日...

首页 / 日志 / 基于Centos 7.4 搭建ELK整合SpringBoot日志收集

基于Centos 7.4 搭建ELK整合SpringBoot日志收集

内容导读

内容图文

ELK简介：

环境准备：

环境搭建：

一、安装Kibana

二、安装logstash

内容总结

内容备注

内容手机端

【基于Centos 7.4 搭建ELK整合SpringBoot日志收集】教程文章相关的互联网学习教程文章

日志 - 相关标签

日志 - 最新教程

日志 - 最热教程