收集web日志的目的Web日志挖掘是指采用数据挖掘技术，对站点用户访问Web服务器过程中产生的日志数据进行分析处理，从而发现Web用户的访问模式和兴趣爱好等，这些信息对站点建设潜在有用的可理解的未知信息和知识，用于分析站点的被访问情况，辅助站点管理和决策支持等。1、以改进web站点设计为目标，通过挖掘用户聚类和用户的频繁访问路径，修改站点的页面之间的链接关系，以适应用户的访问习惯，并且同时为用户提供有针对性的电子...
前段时间我一直想做一个通用一点的日志记录系统，可以便于不同的业务组调用进行日志记录及分析。本来打算着自己下手写一个，后面发现各业务组可能会需要不同的记录方式，比如利用数据库来记录，用txt的文件形式来记录，当然，这些都是最常用的记录方式。而且不同的业务组都希望有自己的记录数据表，不希望和其他业务组的数据混在一起。于是我先前设想的架构方式也就付之一炬了，因为不够灵活，而且实现难度大、周期长。恰在此时想起...
Thread 1 cannot allocate new log, sequence 466
Private strand flush not completeCurrent log# 7seq# 465 mem# 0: /home/app/oracle/oradata/orcl/redo07.log
Thread 1 advanced to log sequence 466 (LGWR switch)Current log# 8seq# 466 mem# 0: /home/app/oracle/oradata/orcl/redo08.log
Mon Jul 2815:27:422014
Thread 1 cannot allocate new log, sequence 467
Private strand flush not completeCurrent log# 8seq# 466...
Kafka作为消息中间件，数据需要按照一定的规则删除，否则数据量太大会把集群存储空间占满。参考：apache Kafka是如何实现删除数据文件(日志)的Kafka删除数据有两种方式按照时间，超过一段时间后删除过期消息按照消息大小，消息数量超过一定大小后删除最旧的数据Kafka删除数据的最小单位：segmentKafka删除数据主逻辑：kafka源码def cleanupLogs() {debug("Beginning log cleanup...")var total = 0val startMs = time.milliseconds...
首先需要做到的是就是数据库文件，以及二进制日志文件全部放在单独的逻辑卷存储。
实现LVM逻辑卷，数据，二进制日志文件分离存放一，创建逻辑卷步骤(1)，创建新分区1，查看分区情况看看还剩多少空间 [root@centos7 backup]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 200G 0 disk ├─sda1 8:1 0 1G 0 part /boot├─sda2 8:2 0 50G 0 part /├─sda3 8:3 0 2G 0 part [S...
日志分析软件 secilog 1.15发布，增加了搜索保存数据库采集web日志报表等。上篇文章1.13，有兴趣可以了解一下。本次升级主要增加以下功能：日志搜索保存：通过日志搜索保存可以把常用的搜索保存起来，下次可以更方便的进行查询。web日志报表：专门对web日志增加了一个报表功能，可以提供pv，独立ip趋势图，http状态码分布，流量统计，ip访问排行和页面访问排行常用web统计报表。增加了数据库采集：首先在日志配置中进行增加。在增加...
随着数据库使用时间增长，日志文件也在不停的增大，这里介绍几种方法减小这个文件的方法。1.直接删除log文件分离数据库。分离数据库之前一定要做好数据库的全备份，选择数据库——右键——任务——分离，如下图将日志文件和数据文件复制粘贴到另外一个文件夹中以防万一。删除链接，如下图直接删除日志文件，然后再附加数据库，如下图附加的时候会自动将ldf文件和mdf文件都附加上，但是会提示找不到ldf文件，没关系，选中ldf文件这一...
# coding=gbk
from encodings import gbk
import re
import sys
import os
import pyodbc
import traceback
import decimal #连接数据库
conn = pyodbc.connect(‘DRIVER={SQL Server};SERVER=192.168.1.43;DATABASE=master;UID=sa;PWD=passwd123!‘)
# 获取cursor对象来进行操作
cursor = conn.cursor() #清除错误日志
#query="select username,userid from dbo.tbluser where username=‘%s‘" %(uname)
query="EXEC ...
最近在弄alwaysOn的时候有遇到磁盘满了的情况，这个是因为参与alwaysOn的数据库必须是完整恢复模式, 而完整恢复模式，数据库收缩还无效果，所以只能采用事务日志备份的方式来进行事务日志截断。 这个还要感谢@i6first大神和@桦仔大神的文章才了解到必须使用事务日志备份才可行（原谅我是小白一枚，竟然不知道完整恢复模式需要用事务日志备份才能解决日志大小问题。目前还在成长中..）。开此文章，用于记录完整模式下日志增长问题。...
/*收缩数据库日志大小*/--数据库名称为 PTS2_NULL，请自行替换USE master GO ALTER DATABASE PTS2_NULL SET RECOVERY SIMPLE WITH NO_WAIT GO ALTER DATABASE PTS2_NULL SET RECOVERY SIMPLE GO USE PTS2_NULL GO --这里的2根据 select * from sysfiles 或 select * from sys.database_files 来查询 一般数据为1 日志为2；11代表指定收缩后日志大小为11MBDBCC SHRINKFILE (2 , 11, TRUNCATEONLY)GO USE master GO A...
作者：泥沙砖瓦浆木匠网站：http://blog.csdn.net/jeffli1993个人签名：打算起手不凡写出鸿篇巨作的人，往往坚持不了完成第一章节。交流QQ群：【编程之美 365234583】http://qm.qq.com/cgi-bin/qm/qr?k=FhFAoaWwjP29_AonqzL0rpdQAjjqlHQQ如果我的帮到了你，是否乐意捐助一下或请一杯啤酒也好呢？有你支持，干的更好~点这参与众筹 我的支付宝：13958686678
一、 前言 泥瓦匠又和大家见面了，最近两天我在Code Review ，顺便代码小小...
原文链接：http://www.lookdaima.com/WebForms/WebPages/Blanks/Pm/Docs/DocItemDetail.aspx?EmPreviewTypeV=2&id=279e64d5-7b60-43fa-b662-33731e895c84要对监听日志文件（listener.log）进行定期清理，如果不定期清理，会遇到下面一些麻烦： 1：监听日志文件（listener.log）变得越来越大，占用额外的存储空间。（当然现在存储白菜价，不差那几G的空间。但是我们还是要本着工匠情怀，精益求精） 2：监听日志文件（listen...
案例：http://www.linuxidc.com/Linux/2012-11/74005.htmhttp://blog.csdn.net/ssrc0604hx/article/details/18717983 原理：假如你现在不小心删除了一张表需要恢复。你就把一个月前备份的数据库拿出来，然后把这一个月的二进制日志里对这个数据库这张表进行的操作提出来。对备份的数据库进行同样的操作，得出来的表就和你删除的表一摸一样了。1.提炼日志：可以用mysqlbinlog根据时间和位置进行提炼成sql文件；2.正则表达式过虑sql文...
一：开启general log模式 >set global general_log=1; 二：查看日志文件 在数据库目录下，譬如“ /database/mysql/” 查询数据日志： #tail -f mariadb-slave01-slow.log 写数据日志： #tail -f hostname.log 三：完毕后及时关闭general log模式 >set global general_log=0;原文：http://www.cnblogs.com/amusic/p/4952969.html
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html一、数据情况分析1.1 数据情况回顾 该论坛数据有两部分： （1）历史数据约56GB，统计到2012-05-29。这也说明，在2012-05-29之前，日志文件都在一个文件里边，采用了追加写入的方式。 （2）自2013-05-30起，每天生成一个数据文件，约150MB左右...
