关于关系表的设计归根结底有两个方面。 窄表：log_ytt mysql show create table log_ytt; +-------------+--------------------------------------------------------------------------------------------------------------------------------------------关于关系表的设计归根结底有两个方面。 窄表：log_ytt mysql> show create table log_ytt; +-------------+-------------------------------------------------------------...
使用Hive的正则解析器RegexSerDe分析Nginx日志 1、环境： Hadoop-2.6.0 + apache-hive-1.2.0-bin 2、使用Hive分析nginx日志，网站的访问日志部分内容为： cat /home/hadoop/hivetestdata/nginx.txt192.168.1.128 - - [09/Jan/2015:12:38:08 +0800] "GET /avatar/helloworld.png HTTP/1.1" 200 1521 "http://write.blog.linuxidc.net/postlist" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...
在我们的项目中，开启PHP的慢速日志（request_slowlog_timeout = 10s）是必选项，并且它也让我们发现了很多坑，解决了很多的性能问题。 昨天由于碰到了一个非常奇怪的问题，让我们不得不关闭PHP慢速日志，问题是什么呢？ 问题：执行程序时，会报 2013(Lost connection to MySQL server during query) 分析： 1）在我们的后台程序中，会执行一个循环（>300次），循环中会重复执行一条SQL语句； 2）Nginx的访问日志，程式每次执行时间...
在我们的项目中，开启PHP的慢速日志（request_slowlog_timeout = 10s）是必选项，并且它也让我们发现了很多坑，解决了很多的性能问题。 昨天由于碰到了一个非常奇怪的问题，让我们不得不关闭PHP慢速日志，问题是什么呢？ 问题：执行程序时，会报 2013(Lost connection to MySQL server during query) 分析： 1）在我们的后台程序中，会执行一个循环（>300次），循环中会重复执行一条SQL语句； 2）Nginx的访问日志，程式每次执行时间...
因为MySQL数据库增删改突然暴增，需要查询是那些表的操作特别频繁，写了一个用来分析bin-log的小工具，找出增删改查的表，并按照操作次数降序排列，以下是代码： #for mysql5.5 binlog import os,sys #python binlog.py binglog-0001 ‘2013-07-01 00:00:00‘ ‘2013-07-02 00:00:00‘ def log_w(type,text): logfile = "%s.txt" % (type,text) #now = time.strftime("%Y-%m-%d %H:%M:%S") tt = str(text) + "\n" ...
使用percona公司的pt-query-digest分析慢查询日志，分析、统计的结果的比较清晰 #!/bin/shslowlog_path=/root/slow_query_log everyslow=/tmp/everydayslow ##需要下载pt-query-digest pt_digest=/root/pt-query-digeststart_string=$(grep `date --date="0 days ago" %y%m%d` ${slowlog_path}|head -1) start_pos=$(grep -n `date --date="0 days ago" %y%m%d` ${slowlog_path}|head -1|awk -F: ‘{print $1}‘) end_pos=$(grep -...
1. 先安装perl, 登录 https://www.perl.org/get.html ,我选择的是最新版。 解压后来到perl的安装目录执行 [root@VM-10 perl-5.22.0]# ./Configure -des -Dprefix=/usr/perl-5.22.0 -Dusethreads -Uversiononly 验证是否安装成功 [root@VM-10 perl-5.22.0]# perl -version This is perl, v5.10.1 (*) built for x86_64-linux-thread-multi Copyright 1987-2009, Larry Wall Perl may be copied only under the terms of eithe...
昨天在测试操作数据库的时候碰到两个问题忘了记录下来，今天补充上去，接上篇 1. 安装测试数据库sakila时报错。Mysql server has gone away的问题。解决方法： 查看 show global variables like ‘max_allowed_packet‘; 一般来说会显示 max_allowed_packet 1048576 修改为 set global max_allowed_packet = 1024*1024*16; 问题解决。不要问我为什么，我也不知道 T_T 2. 我用 mysql 版本 5.6.* 在设置l...
备忘自： http://blog.csdn.net/seteor/article/details/24017913 1. 工具简介 pt-query-digest是用于分析mysql慢查询的一个工具，它可以分析binlog、General log、slowlog，也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查询进行分组统计，统计出各查询的执行时间、次数、占比等，可以借助分析结果找出问题进...
使用Python 分析Nginx access 日志，根据Nginx日志格式进行分割并存入MySQL数据库。一、Nginx access日志格式如下： 代码如下:$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" #使用的是nginx默认日志格式二、Nginx access 日志内容如下： 代码如下:182.19.31.129 - - [2013-08-13T00:00:01-07:00] "GET /css/anniversary.css HTTP/1...
热门资讯 1、openGauss 上线华为云正式商用 - GaussDB(for openGauss) 【摘要】近日，GaussDB(for openGauss)已于华为云官网全面开放商用。该产品是华为基于openGauss自研生态推出的企业级分布式数据库,能为企业提供超高可用、功能完备、性能卓越、开放生态、极致弹性的企业级数据库服务。 2、亚太No.1, 全球TOP3，阿里云数据库2020技术年报发布！ 【摘要】阿里云数据库2020技术年报新鲜出炉！十余年间，阿里巴巴数据库完成了从商用...
GitHub地址：https://github.com/alibaba/canal在介绍Canal内部原理之前，首先来了解一下MySQL Master/Slave同步原理：MySQL master启动binlog机制，将数据变更写入二进制日志（binary log, 其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看） MySQL slave（I/O thread）将master的binary log events拷贝到它的中继日志（relay log） MySQL slave（SQL thread）重放relay log中事件，将数据变更反...
- 1 表示不自动切换- 1 默认值，自动切换 - 2 基于MySQL主从同步的状态决定是否切换 心跳语句为 show slave status - 3 基于MySQL galera cluster的切换机制（适合集群）（1.4.1） 心跳语句为 show status like ‘wsrep%’ balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。 <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysq...
01/21 22:25:53.174 DEBUG [$_NIOREACTOR-2-RW] (ServerQueryHandler.java:56) -ServerConnection [id=2, schema=TESTDB, host=127.0.0.1, user=test,txIsolation=3, autocommit=true, schema=TESTDB]select * from t_demo_travel_record LIMIT 0, 1000 01/21 22:25:53.174 DEBUG [$_NIOREACTOR-2-RW] (EnchachePool.java:70) -SQLRouteCache hit cache ,key:TESTDBselect * from t_demo_travel_record LIMIT 0, 1000 01/21 ...
最近在使用ELKStack对系统日志进行分析，在网上也有看到有使用logstash的案例，但是发现不能正常解析出来，于是重新花时间去进行正则计算，主要代码如下:input { file { type => "mysql-slow" path => "/var/lib/mysql/slow.log" start_position => beginning sincedb_write_interval => 0 codec => multiline { pattern => "^# User@Host:" negate => true what => "pre...