日志 - 技术教程文章
mysqlsla 分析mysql慢查询日志
发现有一个工具mysqlsla，分析查询日志比 mysqldumpslow分析的会更清晰明了！安装mysqlsla：下载mysqlsla-2.03.tar.gz[root@yoon export]# tar -xvf mysqlsla-2.03.tar.gz[root@yoon export]# yum install *DBI*[root@yoon mysqlsla-2.03]# perl Makefile.PLCan‘t locate Time/HiRes.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/...
pm2日志切割 - pm2-logrotate【图】
使用pm2-logrotate进行pm2日志切割，测试是按照文件大小1k切割；安装pm2 install pm2-logrotate设置 重启pm2 set pm2-logrotate:max_size 1K截图截图是按照文件大小分割，如果文件小于设置分割的大小，每天也会自动分割一次。设置详情：https://github.com/keymetrics/pm2-logrotate 原文：https://www.cnblogs.com/dxxzst/p/10390424.html
跟我一起数据挖掘（20）——网站日志挖掘【代码】【图】
收集web日志的目的Web日志挖掘是指采用数据挖掘技术，对站点用户访问Web服务器过程中产生的日志数据进行分析处理，从而发现Web用户的访问模式和兴趣爱好等，这些信息对站点建设潜在有用的可理解的未知信息和知识，用于分析站点的被访问情况，辅助站点管理和决策支持等。1、以改进web站点设计为目标，通过挖掘用户聚类和用户的频繁访问路径，修改站点的页面之间的链接关系，以适应用户的访问习惯，并且同时为用户提供有针对性的电子...
Kubernetes集群容器运行日志收集【代码】
参考文档 https://yq.aliyun.com/articles/679721 https://www.cnblogs.com/keithtt/p/6410249.html https://github.com/kiwigrid/helm-charts/tree/master/charts/fluentd-elasticsearch https://github.com/kubernetes/kubernetes/tree/5d9d5bca796774a2c12d4e4443e684b619cda7ee/cluster/addons/fluentd-elasticsearchKubernetes日志收集汇总关于kubernetes的日志分好几种，针对kubernetes本身而言有三种：1、资源运行时的event...
0008 Django工程配置（05 Django logging日志配置）【代码】【图】
Django自带日志处理。日志不但方便调试，而且方便在项目上线后，查看报错信息。 日志器的规划非常重要，一般来说，项目中每个APP都应该对应一个日志器，而一个日志器对应两个日志文件： INFO日志文件：用于程序员输出信息 ERROR日志文件：用于输出系统报错信息1 日志配置 在settings.py文件中增加配置，可以定义多个日志器LOGGING = {‘version‘: 1,‘disable_existing_loggers‘: False, # 是否禁用已经存在的日志器...
日志字典模板【代码】
standard_format = ‘%(asctime)s - %(threadName)s:%(thread)d - 日志名字:%(name)s - %(filename)s:%(lineno)d -‘‘%(levelname)s - %(message)s‘ simple_format = ‘[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s‘ test_format = ‘%(asctime)s] %(message)s‘ LOGGING_DIC = {‘version‘: 1,‘disable_existing_loggers‘: False,‘formatters‘: {‘standard‘: {‘format‘: standard_format},‘si...
Docker.logs-->日志清理【代码】
1.手动清理->切换到日志目录,直接执行命令 #找到需要清理日志的容器Id-->"0cf869a294227d349c946292ea06e9dbfbf4c4a07e16c191e1b02a37a890cc60" #可以格式化一下返回结果-->docker ps --format "{{.ID}}\t{{.Names}}" docker ps#容器默认目录-->"/var/lib/docker/containers" cd /var/lib/docker/containers/0cf869a294227d349c946292ea06e9dbfbf4c4a07e16c191e1b02a37a890cc60/#查看容器中是否存在log日志文件-->发现确实存在日志...
nginx实现按日期进行日志分割【代码】【图】
1：nginx的访问日志按日期分割，也就是每天的零点把前一天的访问日志以日期的形式备份，然后重新打开一份访问日志，这里的kill -USR1 $pid 重新打开访问日志，必须得把原来的mv，如果存在的话，还是在原来的基础上累加。 脚本：#!/bin/bashlocal_path=/usr/local/nginx/logscd $local_pathif [ !-d date_log ] ;thenmkdir date_log fimv access_nginx.log $local_path/date_log/access_`date -d "yesterday" +%Y%m%d` nginx_pid=`p...
在日志中加上链路追踪示例【代码】【图】
环境：springboot + spring-cloud-starter-sleuth + logbacklogback.xml示例：<?xml version="1.0" encoding="UTF-8"?><configuration scan="true" scanPeriod="10 seconds"><!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径--><property name="LOG_HOME" value="./log"/><property name="APP_NAME" value="boot"/><!-- 控制台输出 --><appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"><encode...
Eclipse控制台不限日志行数【图】
在控制台，右键点击鼠标，在出现的菜单中选择最下面的一项（Preferences...），在弹出的窗口中，去掉勾选[limit console output]原文：http://www.cnblogs.com/dwf07223/p/4513478.html
python标准日志模块logging的使用方法
最近写一个爬虫系统，需要用到python的日志记录模块，于是便学习了一下。python的标准库里的日志系统从Python2.3开始支持。只要import logging这个模块即可使用。如果你想开发一个日志系统， 既要把日志输出到控制台， 还要写入日志文件，只要这样使用：复制代码代码如下:import logging# 创建一个loggerlogger = logging.getLogger(‘mylogger‘)logger.setLevel(logging.DEBUG)# 创建一个handler，用于写入日志文件fh = logging....
Log4Net 之将日志记录到数据库的配置 （一）【代码】
前段时间我一直想做一个通用一点的日志记录系统，可以便于不同的业务组调用进行日志记录及分析。本来打算着自己下手写一个，后面发现各业务组可能会需要不同的记录方式，比如利用数据库来记录，用txt的文件形式来记录，当然，这些都是最常用的记录方式。而且不同的业务组都希望有自己的记录数据表，不希望和其他业务组的数据混在一起。于是我先前设想的架构方式也就付之一炬了，因为不够灵活，而且实现难度大、周期长。恰在此时想起...
Linux系统中如何查看日志信息
日志文件是用于记录Linux系统中各种运行消息的文件，不同的日志文件记载了不同类型的信息，对于诊断和解决系统中的问题很有帮助分析日志文件 日志数据主要包括三种类型：内核及系统日志、用户日志、程序日志 #对于大多数的文本格式的日志文件，使用tail、more、less、cat 等命令就可查看日志内容 #对于一些二进制格式的日志文件（如用户日志文件），使用who、w、users、last、lastb等 内核及系统日志的配置文件为 /etc/rsyslog...
ELK收集nginx访问日志实战案例【代码】【图】
一、Nginx的日志格式和日志变量 Nginx跟Apache一样，都支持自定义输出日志格式，在进行Nginx日志格式定义前，先来了解一下关于多层代理获取用户真实IP的几个概念。 remote_addr：表示客户端地址，但有个条件，如果没有使用代理，这个地址就是客户端的真实IP，如果使用了代理，这个地址就是上层代理的IP。 X-Forwarded-For：简称XFF，这是一个HTTP扩展头，格式为 X-Forwarded-For: client, proxy1, proxy2，如...
在使用hibernate的getHibernateTemplate()时怎么让控制台输出封装好的SQL? 怎么用日志打印出来?【代码】
我们在使用 Hibernate 时一般只会关注是否显示生成的 SQL 语句，不过有些时候还不够。默认时 Hibernate 执行的 SQL 语句是打印在控制台上的，它也可以配置为输出给 Log4J 或是 Log4Back，还能显示出更详细的参数和取值信息。这里简单讲来。Hibernate 的配置文件 hibernate.cfg.xml 里提供有三个有关显示 SQL 的配置项，如果是与 Spring 联合，也可以配置到 Spring 的配置中。它们的取值是 boolean 值。1) hibernate.show_sql - 是否...
squid缓存服务器 ACL访问控制 传统代理 透明代理 squid日志分析 反向代理【代码】【图】
缓存代理概述 Squid提供了强大的代理控制机制，通过合理的设置ACL，并进行限制，可以针对源地址、目标地址、访问的URL路径、访问的时间等条件进行过滤。作为应用层的代理服务器软件，Sqiod主要提供了缓存加速和引用层过滤控制能力代理的工作机制当客户机通过代理来请求 Web 页面时，指定的代理服务器，会先检查自己的缓存如果缓存中已经有客户机需要访问的页面，则直接将缓存中的页面内容反馈给客户机；如果缓存中没有客户机需要访...
11gr2 alert日志中报TNS-12535 TNS-00505原因及解决方法 (转载)
前面新装了11GR2 RAC，某天在做巡检的时候发现alert日志中存在如下报错：Fatal NI connect error 12170. VERSION INFORMATION: TNS for Solaris: Version 11.2.0.3.0 - Production Oracle Bequeath NT Protocol Adapter for Solaris: Version 11.2.0.3.0 - Production TCP/IP NT Protocol Adapter for Solaris: Version 11.2.0.3.0 - Production Time: 16-MAY-2013 04:57:41 Tracing not turned on. Tns ...
交换分区swap和日志系统.md【代码】【图】
目录1.使用系统中的某个文件作为swap分区1.1创建swapfile1.2格式化swap分区1.3检查当前swap分区情况1.4临时启用新建swap分区并查看情况1.5 关闭新建的swap分区并查看情况1.6永久启用新建的swap分区2.使用磁盘分区作为swap分区2.1创建分区并将分区修改为swap分区2.2刷新新分区并格式化swap分区2.3临时启用新建swap分区和关闭新建swap分区2.4永久启用新建的swap分区3.日志系统3.1搭建日志服务器3.2编辑另外一台服务器1.使用系统中的某...
C#打印日志的小技巧【代码】
先祝贺我们的游戏即将上线《龙戒》！http://www.9game.cn/longjie/ 偷得半会闲，分享一个小小的东西。就是打印日志的函数。开发中输出日志必不可少，在C#中输出多个不同类型参数的时候，需要连接符累加输出，很是不方便。一个简单的方法是自己封装一个打印的函数，让它支持不定参数和不同类型的输出。这样就不会强用字符串进行拼接输出了。也许你没听懂需求，好吧，废话不多说，上代码。publicstaticvoid Log(params System.Object...
springboot日志配置，关于logback【代码】
1.依赖<groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-logging</artifactId>Spring Boot项目一般都会引用spring-boot-starter或者spring-boot-starter-web，而这两个起步依赖中都已经包含了对于spring-boot-starter-logging的依赖，所以，无需额外添加依赖。可以在idea右上角的maven中查看jar包依赖关系。2.使用2.1 关于约定日志有很多东西需要配置，但是又好像不需要配置什么东西，今天一段话点醒...
rac 11g_生产库日志组损坏处理【图】
原创作品，出自 “深蓝的blog” 博客，转载时请务必注明出处，否则有权追究版权法律责任。深蓝的blog：http://blog.csdn.net/huangyanlong/article/details/46863813 环境：操作系统：CentOS 6.4 64bit中间件：WAS 7数据库：Oracle 11G RAC 11.2.0.3问题：生成库was无法连接数据库，报出数据库无法归档错误。解决思路：解决oracle无法归档问题。操作记录：SQL> select instance_name from v$instance; INSTANCE_NAME----...
十一、linux-mysql的多种日志和引擎文件实战【图】
一、多种日志 mysql生成或者相关联的日志文件种类繁多，本节重点关注与mysql数据库服务相关的几类日志文件。 错误日志（error log) :记录mysql服务进程mysqld在启动/关闭或者运行过程中遇到的错误信息； 查询日志（query log) :分为两类： 普通查询日志（general query log）：记录客户端连接信息和执行sql语句信息； 慢查询日志（slow query log）: 记录执行时间超过指定值（long_query_time）的sql语...
嵌入式 Linux进程间通信（四）——Linux系统日志【代码】
嵌入式 Linux进程间通信（四）——Linux系统日志 syslog 是一种工业标准的协议，用来记录设备的日志。Linux日志系统由系统日志监控程序syslogd和内核日志监控程序klogd组成，两个监控程序都是守护程序（daemon），且都注册成了系统服务。syslogd专门记录非内核的其他设备所产生的日志，当系统的控制权由系统交给init的时候，日志信息的记录由syslogd负责记录。Klogd主要负责内核所产生的日志。内核日志记录信息由dmesg /var...
springboot 多日志【代码】
1 <?xml version=‘1.0‘ encoding=‘UTF-8‘?>2 <configuration>3 <springProperty name="logFile" source="log.file"/>4 <springProperty name="DataFileNettyUdp" source="data.txt"/>5 <springProperty name="rootlevel" source="log.level.root"/>6 <springProperty name="mylevel" source="log.level.my"/>7 <springProperty name="maxFileSize" source="log.maxsize"/>8 <springProperty name="max...
发现了一个写日志的好工具--石墨文档【图】
发现了一个写日志的好工具--石墨文档1 2 3 4 5 6https://shimo.im/doc/nfoRmag3kikCGxzx 7 8 9 10 11 12原文：https://www.cnblogs.com/ynzj123/p/13289737.html
Java日志记录log4j最简明教程
Java日志记录log4j最简明教程 2011-09-21 16:40:29 我来说两句 收藏 我要投稿 最近在搞一个项目架设，希望从构建一个项目方方面面都彻底研究透，增长实战经验。 今天先研究一下日志的构建，这里选择了log4j--java方面比较流行的log框架，功能 很强大，使用起来也很方便了 废话少说，先看看一个史上最简单的log例子，看看我是如何用最简洁的设计实现将异常 等信息写入日志文件的...
系统日志的重要性【代码】
与一个简单的算法不同，一个合格的系统不仅仅要求具有运行的高效和计算的准确，同时又必须兼顾稳定性、可靠性。其次，对于开发人员来说，又必须具有可拓展性和可维护性。各方面都必须很完善，这样的一个系统才能称得上是一个合格完美的系统。简单的站在开发人员的角度分析，比较重视的是系统的可维护性，毕竟开发人员直面的是系统的代码实现。一个代码结构冗杂、模块设计混乱、命名“异想天开”的系统对于开发者来说简直到了咬牙切...
MySQL日志功能
MySQL的日志有很多种，分为错误日志、一般查询日志、慢查询日志、二进制日志、中继日志、事务日志，这些日志信息有很强大的功能，错误查询、查询诊断、复制、数据恢复、保持事务性质等都依靠日志完成；所以日志文件从性能和数据安全方面考虑，都不应该和数据文件存放在同一个存储设备上，且考虑到IO问题日志文件应存在性能高的存储设备上 下面是日志的相应功能和常用相关变量错误日志作用：服务器启动和关闭过程中的信息服务器运行...
简单的sqlhelper的学习日志【图】
一：今天做了一个简单的sqlhelper，还有调用，将今天学的内容总结一下，解决方案如下：二：对应的sqlhelper的内容：using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Data.SqlClient;using System.Configuration;using System.Data; namespace UsersDAL{ public class Class1 { //返回受影响的行数 // static string constr = "server=.;database=OneDb;ui...
日志解析(四) 大文件分割
将百兆大文件分割成几十M的小文件，按大小进行分割package com.fenge;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.FileReader;import java.io.IOException;public class fenge { public static final String SUFFIX = ".txt"; // 分割后的文件名后缀 // 将指定的文件按着给定的文件的字节数进行分割文件，其中name指的是需要进行分割...