日志 - 技术教程文章

DHCP 日志分析【图】

DHCP 日志分析 DHCP(Dynamic Host Configuration Protocol,动态主机配置协议)是一种有效的IP 地址分配手段,现已经被广泛地应用在各种局域网管理。它能动态地向网络中每台计算机分配唯一的IP 地址,并提供安全、可靠、简单和统一的TCP/IP网络配置,确保不发生IP地址冲突。当在服务器上启用DHCP后,我们希望了解服务的运行情况,希望看到详细日志。可以通过下面的命令了解到dhcp server的日志文件在什么地方。以RHEL系统为例,...

MySQL5.7 可以回收(收缩)undo log回滚日志物理文件空间【图】

undo log回滚日志是保存在共享表空间ibdata1文件里,随着业务的不停运转,ibdata1文件会越来越大,想要回收(收缩空间大小)极其困难和复杂, 必须先mysqldump -A全库的导出,然后删掉data目录,然后重新初始化安装,最后再把全库的SQL文件导入,采用这种方法进行ibdata1文件的回收。在MySQL5.6里,可以把undo log回滚日志分离出去,到一个单独的表空间里,具体请参考:http://hcymysql.blog.51cto.com/5223301/973450,但缺点就是...

PHP记录和读取JSON格式日志文件【代码】

我们有时需要记录用户或者后端的某个操作事件的运行情况,可以使用后端语言如PHP将操作结果记录到日志文件中,方便测试和查找问题。尤其是这些在后端运行的而前端不能直接看到运行结果的,那么就可以用日志文件记录下来,如果你经常跟一些接口开发如支付宝接口、微信卡券接口打交道的话,日志记录就必不可少了。 我们讲的PHP记录日志,就是将日志信息写入到一个日志文件中,区别于内存日志。写入日志的流程是:打开日志文件(如果不...

日志分析【代码】

import io output = io.StringIO() output.write(‘the first code\n‘) print(‘ddd‘, file=output)# 去除内容 # contents = output.getvalue() # print(contents)print?# 日志分析器 # 练习文件操作 读 # 复习字符串,正则 # 复习函数,类 # kv编程论: # 项目:拆解 # 功能: 函数 # 多函数:类import os basedir = r‘D:\搜狗高速下载\python\文件与日志-演示代码\文件与日志-演示代码\02-auto\data‘ log_path = os.path.jo...

个人理解---在开发中何时加入日志记录功能[java]

是这样的:俩个月前做的一个小功能,今天经理突然问我这个‘清除复投记录‘功能是不是我做的,我说是,很久以前了.他说昨天一个客户找过来了,后台把人家的复投记录清除掉了,不知道何时清除的,我记得当时做的时候跟产品商量的就是直接删掉这条记录并不是修改记录的status,谁会想到有客户会来找呢?清除记录出现异常的时候才会打印日志,正确清除的情况并不会打印日志  为了有一个良好的开发习惯,应当在重要的地方加入日志的打印,并不是每...

1130.日志排序【代码】

题目描述:有一个网络日志,记录了网络中计算任务的执行情况,每个计算任务对应一条如下形式的日志记录:“hs_10000_p”是计算任务的名称,“2007-01-17 19:22:53,315”是计算任务开始执行的时间“年-月-日 时:分:秒,毫秒”, “253.035(s)”是计算任务消耗的时间(以秒计)hs_10000_p 2007-01-17 19:22:53,315 253.035(s)请你写一个程序,对日志中记录计算任务进行排序。 时间消耗少的计算任务排在前面,时间消耗多的计算任务排在...

php-fpm的pool 、慢执行日志、 open_basedir及 php-fpm进程管理【代码】

一、 php-fpm的pool vim /usr/local/php/etc/php-fpm.conf//在[global]部分增加include = etc/php-fpm.d/*.confmkdir /usr/local/php/etc/php-fpm.d/cd /usr/local/php/etc/php-fpm.dvim www.conf //内容如下[www]listen = /tmp/www.socklisten.mode=666user = php-fpmgroup = php-fpmpm = dynamicpm.max_children = 50pm.start_servers = 20pm.min_spare_servers = 5pm.max_spare_servers = 35pm.max_requests = 500rlimit_files ...

Linux命令篇-服务器查看日志(续)【代码】

此文是继上文如何在服务器看日志的续集。之所以我觉得自己很菜,是因为我的周围都是大佬,他们都是值得我学习的对象。 通常大家看日志,无非两种,一是more命令,一是tail命令,其中的过程要么是翻页查看,要么就是在线看,等待着日志中出现某种状况。但是大家一般是系统出现问题的时候,才去服务器看日志。那么假如你已经预知在出现问题的那一刻会打印什么样的日志,那么你还需要去翻页查看日志吗? 或许我们还有别的方式去查找日...

SpringBoot 升级 2.1+ 后,日志输出变少【代码】

原因是 SpringBoot2.1 之后,调整了 Spring MVC or Spring WebFlux 的日志级别,使得升级后日志输出少了,需要手动修改logging.level.web=debug,具体参考 Spring-Boot-2.1-Release-Notes修改配置的日志级别如下:logging:level:web: trace #web: debug这样就能和往常一样打印出URL映射关系了。原文:https://www.cnblogs.com/HeCG95/p/11801910.html

apache访问日志管理【代码】

1.访问日志在之前的虚拟主机配置文件中,有两行日志相关的配置,末尾的combined是日志的格式类型 ErrorLog "logs/111.com-error_log" CustomLog "logs/111.com-access_log" combined在apache的主配置文件中定义了如下的日志格式 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined LogFormat "%h %l %u %t \"%r\" %>s %b" common/usr/local/apache2.4/logs/111.com-access_log中记录了主...

SCCM客户端快捷打开cmtrace日志工具方式【图】

开运行窗口,输入ccm/cmtrace第一次打开会提示是否设置默认关联后缀打开客户端日志路径c:\windows\ccm\log,选择相关日志进行查看原文:https://blog.51cto.com/1233700/2539633

atitit.产品console 日志的aticonsole 方案处理总结

atitit.产品console 日志的aticonsole 方案处理总结 1. 主要原理流程 12. 调用代码 13. 内部主要实现 13.1. 放入消息 13.2. 读取消息 2 默认可以console做日志。。但是有些需要多行文本框做log 1. 主要原理流程LinkedBlockingQueue 把消息放入。。一个ui线程读取消息。。使用阻塞模式。。 2. 调用代码 prj。atimail /AtiSkinSwingax= new AccTester(threadCount);ax.msgboxC=new ConsoleBox(textArea); 注入msgbox来实现放入消息...

SQL2005自动备份,定期删除的维护计划及自动定期清除日志

作为一名DBA,他们最常见的日常任务是:1)定期完成数据库的完全备份或差异备份。2)定期清理备份文件,因为存储空间有限,可能只需要保存一个时期段内的文件(比如一周内或一月内)。而如何做到这两点呢?笔者相信在SQL SERVER2005版本出来之前要实现这种功能,也是可以实现的,只是实现定期清理备份文件显得不那么直接,一般需要手写批处理作业维护,而在SQL Server 2005版本中,这些功能已经被设计成为预制的组件,只需要在数据维...

开源实时日志分析ELK平台部署【图】

ELK架构图:1. JDK环境-------------------1.1 下载最新JDK,解压到/usr/local/java目录。1.2 设置环境变量打开/etc/profile,添加下面内容export JAVA_HOME=/usr/local/javaexport JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATHexport ES_HOME=/data/elk/elasticsearch1.3 使设置生效source /etc/profile2. 安装配置Elas...

PHP 开发 APP 接口--错误日志接口【代码】

APP 上线以后可能遇到的问题:① APP 强退② 数据加载失败③ APP 潜在问题 错误日志需要记录的内容数据表 error_log 字段:id app_id:app 类别 iddid:客户端设备号version_id:版本号version_mini:小版本号error_log:错误信息(由 APP 返回,客户端开发工程师开发) error.php 处理 app 错误日志<?php require_once(‘./common.php‘); class ErrorLog extends Common {public function index() {$this->check();$errorLog = i...

ELK之filebeat替代logstash收集日志【代码】【图】

filebeat->redis->logstash->elasticsearch官网下载地址:https://www.elastic.co/downloads/beats/filebeat Filebeat是轻量级单用途的日志收集工具,用于在没有安装java的服务器上专门收集日志,可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理.1.Filebeat安装和配置ip:10.0.0.33cd /usr/local/src/ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-x86_64.rpm grep -vE "#|^$"...

xtrabackup全库还原+binlog日志还原【代码】【图】

场景:mysql数据库误删某个库、误删表或者误删除数据如下模拟图:备份策略定为每天凌晨进行全库备份,在B时间点进行了误操作以后,有两种恢复场景,一种是恢复到B时间点误操作前,一种是恢复到C时间点以下为恢复到B时间点误操作前需要说明的是,使用xtrabackup进行还原需要关闭数据库,为了避免关闭数据库造成的业务影响,在运维工作中可以提前搭建一个用于还原的备用数据库,在备用数据库中还原到误操作前一个时间点后,再使用mys...

如何往rsyslog日志中心发送日志

rsyslog分为服务端和客户端客户端rsyslog配置文件配置一下几条比较有用 $ActionQueueType LinkedList # use asynchronous processing 开启缓存队列$ActionQueueFileName backup_local # set file name, also enables disk mode 如果客户端挂了,缓存队列写到本地backup_local这个变量上面已经定义了位置$ActionResumeRetryCount -1 # infinite retries on insert failure$ActionQueueSaveOnShutdown on$ActionQueueMax...

利用apache自带的工具 分割访问日志

httpd.conf中CustomLog logs/access.log common 改成 CustomLog "|c:/apache/bin/rotatelogs.exe c:/apache/logs/access_%Y_%m_%d.log 86400" common 其中把c:改成你安装apache所在的路径. 重启Apache 其中c:/apache/是你安装apache的路径这样每一天生成一个日志文件在apache的配置文件中找到 ErrorLog logs/error_log CustomLog logs/access_log commonLinux系统配置方法:将其改为 ErrorLog "| /usr/local/apache/bin/rotatelog...

JAVA日志框架log4j和slf4j【代码】

1org.apache.log4j.ConsoleAppender(控制台) 2org.apache.log4j.FileAppender(文件) 3org.apache.log4j.DailyRollingFileAppender(每天产生一个日志文件) 4org.apache.log4j.RollingFileAppender(文件大小到达指定尺寸的时候产生一个新的文件) 5 org.apache.log4j.WriterAppender(将日志信息以流格式发送到任意指定的地方)原教程链接http://www.cnblogs.com/ywlaker/p/6124067.html。简单总结下:1.log4j基本用法 1)...

ELK 日志分析系统详解【图】

大纲:一、简介二、Logstash三、Redis四、Elasticsearch五、Kinaba一、简介1、核心组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成;Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用kibana 是一个开源和免费的工具,它可以为...

速方日志审计系统

速方日志审计系统原文:http://www.blogjava.net/afunms/archive/2014/12/18/421543.html

Log4j日志的级别

log4j规定了默认的几个级别:ALL < trace < debug < info < warn < error < fatal < OFF 1)级别之间是包含的关系,意思是如果你设置日志级别是trace,则大于等于这个级别的日志都会输出。2)基本上默认的级别没多大区别,就是一个默认的设定。你可以通过它的API自己定义级别。你也可以随意调用这些方法,不过你要在配置文件里面好好处理了,否则就起不到日志的作用了,而且也不易读,相当于一个规范,你要完全定义一套也可以,不...

使得“Log4J日志文件保存路径”可配置【代码】

使用Log4J日志框架,可以配置将日志记录到文件中,示例配置如下:log4j.appender.A1=org.apache.log4j.RollingFileAppender log4j.appender.A1.Threshold=INFO log4j.appender.A1.File=log/info.log log4j.appender.A1.Append=true log4j.appender.A1.Encoding=GBK log4j.appender.A1.MaxFileSize=256MB log4j.appender.A1.MaxBackupIndex=60 log4j.appender.A1.layout=org.apache.log4j.PatternLayout log4j.appender.A1.layout.C...

python日志解决方案-loguru【代码】

logurupip install loguru 官方文档 https://loguru.readthedocs.io/en/stable/overview.html教程from loguru import loggerlogger.add("interface_log_{time}.log", rotation="500MB", encoding="utf-8", enqueue=True, compression="zip", retention="10 days") logger.info("中文") enqueue=True 代表异步写入,官方的大概意思是:在多进程同时往日志文件写日志的时候使用队列达到异步功效rotation 可以理解成日志的创建时机,可...

IEDA tomcat catalina 日志乱码【图】

1 先打开tomcat的安装目录2 编辑 conf 目录下的 logging.properties3 用notepad++ 打开,把里面的UTF-8 通通改成 GBK4 保存,重启Tomcat,即可生效。 原文:https://www.cnblogs.com/BinBinGo/p/14643647.html

Windows 7下,一块硬盘突然掉盘时的windows操作系统日志

环境:3块台式机硬盘(sata3接口的),接入同一个台式机中,没有做raid,其中一块硬盘(注意:不是一个partition)突然从“计算机管理”-"磁盘管理"中消失,当然,该块硬盘的分区(之前做了一个ntfs格式的分区)也从我的电脑中消失了,如下是当时windows操作系统日志: 日志一:日志名称: System 来源: Disk 日期: 2015/7/22 14:47:43 事件 ID: 15 任务类别: 无 级别: ...

ELK日志分析平台搭建全过程【代码】【图】

一、环境系统:centos 6.5JDK:1.8Elasticsearch-5.2.2Logstash-5.2.2kibana-5.2.2二、安装1、安装JDK下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html本环境下载的是64位tar.gz包,将安装包拷贝至安装服务器/usr/local目录[root@server~]# cd /usr/local/ [root@localhost local]# tar -xzvf jdk-8u111-linux-x64.tar.gz配置环境变量[root@localhost local]# vim /etc/profile将下...

工作日志:作业一直处于accepted状态不执行

因为工作需要,要搭建一个虚拟机,做一个伪分布式的开发环境。搭建很顺利,测试环境不用考虑太多,启动hdfs,搞定!启动yarn,搞定。运行一个examples看看,结果作业一直卡在accepted状态,一直没有真正运行,而且从日志上看,也没有任何的报错信息。这个问题困惑了两天,搜索了很多国内外的网页,都没有明确的解决办法。后来参考了一下内存配置,将内存分配改大了,该问题得到了解决。该问题应该只出现在虚拟机等测试环境中,真实...

HBase内部操作日志说明【代码】

版本:0.94-cdh4.2.11. Split Region[regionserver60020-splits-1397585864985] INFO org.apache.hadoop.hbase.regionserver.SplitRequest - Region split, META updated, and report to master. Parent=test_table,|u:21419463|1389789100286|9749216794103914,1391785640492.893d6a798767b8e819c1b205e291e89b., new regions: test_table,|u:21419463|1389789100286|9749216794103914,1397585864985.ad6da8441218fd62b2d4a2e01e2...