日志 - 技术教程文章
Filebeat7 Kafka Gunicorn Flask Web应用程序日志采集【代码】
本文的内容如何用filebeat kafka es做一个好用，好管理的日志收集工具 放弃logstash，使用elastic pipeline gunicron日志格式与filebeat/es配置 flask日志格式与异常日志采集与filebeat/es配置 以上的配置概况 我有一个HTTP请求，经过的路径为 Gateway(kong)-->WebContainer(gunicorn)-->WebApp(flask) 我准备以下流向处理我的日志 file --> filebeat --> kafka topic--> filebeat --> elastic pipeline --> elasticsearch|| ----...
Python3-logging日志模块【代码】
日志模块 logging模块默认收集的日志是warning以上等级的 日志一共分为5个等级，从低到高分别是：级别 说明DEBUG 输出详细的运行情况，主要用于调试INFO 确定一切按预期运行，一般用于输出重要运行情况WARNING 一些意想不到的事情发生了（比如：“警告：内存空间不足”），但是这个软件还能按预期工作，在不久的将来，会出现问题ERROR 发生错误，软件没能执行一些功能，还可以继续执行CRITICAL 一个严重的错误，表名程序本身可能无...
python使用笔记13--清理日志小练习【代码】
1 2 写一个删除日志的程序，删除5天前或为空的日志，不包括当天的3 1.删除5天前的日志文件4 2.删除为空的日志文件5 6 import os7 import time8 9 def delete_logs_file():#清理日志 10 for cur_dir,dirs,files in os.walk(logs): 11 print(cur_dir,dirs,files) 12 if files:#当文件列表不为空是，开始删除 13 for file_name in files: 14 file_time = get_filename_time(file_nam...
Python-logging日志模块【代码】【图】
1 import logging2 3 # 获得logging初始对象4 logger = logging.getLogger()5 6 # 获得文件写入对象,设定日志文件路径7 fh = logging.FileHandler(logger.log)8 9 # 获得屏幕输出对象 10 sh = logging.StreamHandler() 11 12 # 定义输出格式 日期 管理者名称 级别 输出内容 13 formatter = logging.Formatter(%(asctime)s - %(name)s - %(levelname)s - %(message)s) 14 15 # 给文件...
错误应用程序名称: w3wp.exe 错误模块名称: KERNELBASE.dll iis应用程序池自动停止，window日志报错【图】
问题描述： iis应用程序池自动停止，window日志报错： 错误应用程序名称: w3wp.exe，版本: 7.5.7600.16385，时间戳: 0x4a5bd0eb错误模块名称: KERNELBASE.dll，版本: 6.1.7600.17179，时间戳: 0x50b84841 在网上找了很多方法，但是可能每个遇到的环境和情况不一样，都没有起到作用，我这个方法可能也只是能解决一部分人的问题，分享一下，万一真能帮到人呢 我的解决办法： 我们打开Windows日志，看一下这个报错下面都有什么 我们...
linux tomcat打印gc日志【代码】
编辑bin目录下的catalina.sh文件，在 #!/bin/sh下添加以下内容JAVA_OPTS=" -XX:+PrintGCTimeStamps -XX:+PrintGCDetails -Xloggc:/root/gc.log" 可以通过在线工具对gc日志进行分析 地址：https://gceasy.io/
nginx日志切割脚里的-USR1
脚本从网上找的，主要是想解释下kill -USR1作用是使nginx程序重新生成一个日志文件 #!/bin/bash logs_path="/usr/local/nginx/logs/" mv ${logs_path}access.log KaTeX parse error: Expected group after _ at position 18: …ogs_path}access_?(date -d “yesterday” +"%Y%m%d").log kill -USR1 cat /usr/local/nginx/logs/nginx.pid
Linux日志文件
/var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一 /var/log/secure 与安全相关的日志信息 /var/log/maillog 与邮件相关的日志信息 /var/log/cron 与定时任务相关的日志信息 /var/log/spooler 与UUCP和news设备相关的日志信息 /var/log/boot.log 守护进程启动和停止相关的日志消息 # uname -a 查看内核/操作系统/CPU信息 转载自“ITPUB博客” ：http://blog.itpub.net/15498/viewspace-26...
CentOS 7.5 快速搭建 ELK 日志分析平台【代码】【图】
CentOS 7.5 快速搭建 ELK 日志分析平台环境：CentOS 7.5 Java jdk ：1.8.0_212 软件版本 ：7.1.11、安装 elasticsearch 首先下载软件包，我是直接用 wget 命令从官网下载（官网地址：https://www.elastic.co/cn/），这里默认下载的是最新版的 7.1.1 。 我这里是把软件都放在我个人用户的 home 目录下。 下载： [benar.chen@benar ~]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64...
linux查看服务器登陆日志【代码】
查看成功登陆loglast -f /var/log/wtmp或者直接last 最新的登录记录在最前面，所以可以用 一下命令来查看。 last | less查看登录失败的用户信息 命令: lastb 查看登录日志 命令: tail /var/log/secure -n200
Shell定期清除超过指定天数的日志文件【代码】
背景 tomcat系统日志，或者已建设项目中日志，设置不合理的回滚，会导致日志文件越来越多。 使用以下脚本，可以清理30天前的日志#删除tomcat日志大于30天的 LOG_DIR=/opt/apache-tomcat-8.0.11/logs/ cd $LOG_DIR delfiles=`find -name "*.log" -mtime +30` for a in $delfiles doecho -e "delete file: ${a}" > /dev/null 2>&1rm -f ${a} done删除文件过程中不会提醒，如果想提醒，删除 > /dev/null 2>&1转载自：https://qiita.co...
日志分析ELK平台部署第一节【图】
很多培训机构喜欢把一些简单的开源软件弄一个很大的噱头，比如今天跟大家分享的ELK部署，就是一个简单的开源软件，跟zabbix一样都是开源，只是功能不同，哦对了，他们把zabbix叫企业级项目实战之500万pv级大型架构监控系统手把手教学，而且还要加密。真不知道哪里来的勇气和自信，为了宣传，也蛮拼的！ELK是指logstash,elasticsearch,kibana三件套，这三件套可以组成日志分析和监控工具。我们今天着重来看看elasticsearch的安装：l...
ELK实时日志分析平台环境部署--完整记录【代码】【图】
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的sysl...
21-04-08 cms日志分析【图】
1、执行程序java -Xms20M -Xmx20M -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC com.mashibing.jvm.gc.T15_FullGC_Problem012、查看日志 YGCParNew：年轻代收集器 6144->640：收集前后的对比 （6144）：整个年轻代容量 6585 -> 2770：整个堆的情况 （19840）：整个堆大小初始标记>并发标记>重新标记>并发清除>> initial-mark>concurrent-mark>Final Remark>concurrent-sweep>> [GC (CMS Initial Mark) [1 CMS-initial-mark: 851...
2018第九届蓝桥杯 第八题 日志统计【代码】
点我去提交 题目描述 小明维护着一个程序员论坛。现在他收集了一份"点赞"日志，日志共有N行。 其中每一行的格式是：ts id。表示在ts时刻编号id的帖子收到一个"赞"。 现在小明想统计有哪些帖子曾经是"热帖"。 如果一个帖子曾在任意一个长度为D的时间段内收到不少于K个赞， 小明就认为这个帖子曾是"热帖"。 具体来说，如果存在某个时刻T满足该帖在[T, T+D)这段时间内(注意是左闭右开区间) 收到不少于K个赞，该帖就曾是"热帖"。 给定日...
【前端开发】vue项目版本提交日志插件changelog【代码】【图】
安装yarn执行以下命令 yarn安装插件yarn add conventional-changelog-cli在package.js中加入配置"scripts": {"changelog": "conventional-changelog -p angular -u -i CHANGELOG.md -s -r 0" },执行打印命令yarn changelog最后即可生成一个提交日志文件
RAC中的在线日志【代码】【图】
RAC中的ONLINE REDORAC中每个实例都有自己的ONLINE REDO RAC中每个实例有一个THREAD# RAC中每个实例都有自己的UNDO TABLESPACE查看当前集群中REDO的情况 SELECT * FROM V$LOG;GROUP#：日志组号，每一个日志组中包含若干个日志组成员 THREAD#：每一个实例对应一个THREAD# 这里有三个THREAD#，但实际只有两个节点。是因为实例三是新增加的节点，增加节点的时候没有删除实例1，因此会多出来THREAD#1。 --删除日志组 alter database dr...
浅谈云原生系统日志收集在数栈的实践【图】
本文整理自：浅谈云原生系统日志收集在数栈的实践数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！https://github.com/DTStack/flinkxFlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等，是全域、异构、批流一体的数据同步引擎，大家如果有兴趣，欢迎来github社区找...
SecureCRT使用之自动记录日志功能【代码】【图】
自动记录日志功能：选择“选项”——“全局选项”，打开全局选项，在常规设置中找到“默认会话”设置项，点击右侧的“编辑默认设置”： 英文版下：选择“Options”——“Global Options”，打开全局选项，在常规设置中找到“default session”设置项，点击右侧的“edit default settings”：上一步骤操作后，打开如下图所示的界面，选择“日志文件”（英文版下选择“Log file”），如下图所示，让我们分别解释一下右侧四个红色方框...
Mybatis 日志【代码】【图】
Mybatis的设置提供了许多的日志功能。STDOUT_LOGGING 标准日志输出 开启方法 在配置文件加上代码段 <settings><setting name="logImpl" value="STDOUT_LOGGING"/></settings>再次运行代码就会方向出现许多日志内容通过日志可以获取一些有用的信息LOG4J 通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；...
读博期间工作日志8
今天白天主要搜了一堆认知无线电，频谱感知方面的文章，阅读之后基本上毫无收获，对于自身工作的认识依旧停留在原先的阶段，此外尝试安装了网络模拟软件NS3 晚上继续学习信号与系统，时域信号分析部分 今天突然意识到这两天似乎状态有点不对劲，一方面心态上似乎过于膨胀，不再想着怎么去把GNU Radio,USRP玩会玩好，反而开始着急去寻找所谓可以做实验写文章的点了，另一方面学习时注意力也不如之前那么集中，而且有意无意开始关注科...
YII框架接入阿里云日志
1、依赖引入进入项目根目录,执行 composer require --prefer-dist ranvk/yii2-aliyun-logtarget -vvvcomposer.json文件中会增加 "ranvk/yii2-aliyun-logtarget": "^18.3" 2、修改config配置文件components => [log => [targets => [[class => yii\log\FileTarget,levels => [error, warning, trace, info],],[levels => [error, warning, info],class => Ranvk\Yii2AliyunLogtarget\AliyunLogTarget,logstore => test-test-com,to...
ladp日志配置
要开启openldap的日志功能是非常简单的：1.在slapd.conf中加一行：loglevel 4095 2.在/etc/rsyslog.conf 中加入ldap日志文档：local4.* /var/log/ldap.log3.在终端用命令重启rsyslog服务# service rsyslog restart4.在/var/log/下可以找到一个ldap.log文件
【Spring Boot教程】(十六)：Spring Boot日志的使用【代码】
logback、log4j啥的使用起来挺麻烦的，直接使用插件吧，需要安装lombok插件并引入lombok依赖 日志级别：debug < info < warn < error < off 控制台输出默认是info级别，可以在配置文件修改当前包的日志级别 import lombok.extern.slf4j.Slf4j; import org.junit.jupiter.api.Test;@Slf4j class TestControllerTest {@Testvoid test1() {log.debug("嘿嘿嘿");log.info("哈喽，你好啊");log.error("出错啦，问题是{}","没事");} }或者...
使用adb logcat命令显示Android设备上的Log日志
//格式1：打印默认日志数据adb logcat //格式2：需要打印日志详细时间的简单数据adb logcat -v time//格式3：需要打印级别为Error的信息adb logcat *:E//格式4：需要打印时间和级别是Error的信息adb logcat -v time *:E//格式5：将日志保存到电脑固定的位置，比如D:\log.txtadb logcat -v time >D:\log.txtAndroid 的日志分为如下几个优先级（priority）：V —— Verbose（最低，输出得最多）D —— DebugI —— InfoW —— Warnin...
简单日志门面slf4j及框架log4j、log4j2、logback【图】
slf4j、log4j、logback、log4j2的关系 slf4j译为简单日志门面，是日志框架的抽象,实现了日志框架一些通用的api，而log4j、log4j2和logback是众多日志框架中的几种。 log4j、log4j2和logback可以单独的使用，也可以绑定slf4j一起使用。 单独使用。分别调用框架自己的方法来输出日志信息。绑定slf4j一起使用。调用slf4j的api来输入日志信息，具体使用与底层日志框架无关（需要底层框架的配置文件） slf4j 和 日志框架slf4j 桥接框架引...