用OSSIM轻松分析网络设备日志 基于插件的日志收集与处理模式，使得用户可以轻松的利用OSSIM来分析异构网络环境下的各种网络设备日志，下面展示一些硬件设备日志的实例，我们在RAW LOG界面里，搜索栏输入Cisco关键词，立即列出数据源中已有Cisco 路由器、防火墙、交换机等各种搜索条件，你只要知道硬件型号基本都能找到对应数据源。首先以思科ASA防火墙为例来为大家说明。 在系统中通过饼图将各类日志直观的展现给用户，便于查...
如题，分析首先最简单的取出ipcd /usr/local/nginx/logs awk ‘{print $1}‘ access.log | sort | uniq -c | sort -rn | head -n 50 | awk ‘{print $2}‘ > /root/list #在nginx/apache 下执行上述代码。把ip写到list列表然后思路就是 把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bin/bashipInfo() { for i in `cat list` do TransCoding="/usr/bin/python TransCoding.py" JsonDate="curl -s...
前言：Elk主要就是3个软件的组合，主要是elasticsearch搜索引擎，Logstash是一个日志收集日志，kibana实时分析进行展示。[关于日志搜集的软件，如:scribe,flume,heka,logstash,chukwa,fluentd,当然rsyslog rsyslog-ng都可以搜集。关于日志手机后存储软件，如:HDFS,Cassandra mongodb, redis,elasticsearch。关于日志分析软件比如要用HDFS就可以写mapreduce分析，如果需要实时分析就是用Kibana进行展示。]112.74.76.115 #安装logst...
一、前言： 日志分析是我们运维解决系统故障、发现问题的主要手段。为了可以集中管理多台服务器的日志记录，开源实时日志分析ELK平台应用而生，ELK由Elasticsearch、Logstash和Kibana三个开源工具组成，这三个工具可以分别部署在不同的服务器上，并且相互关联，不过需要收集哪台服务器的日志，就必须在该服务器上部署Logstash。ELK的官网是：Elastic官网ELK的工作原理如下（懂得其中原理，才可部署一个高可用的ELK平台）：Logstash...
日志分割 随着网站的访问量增加，默认情况下Apache的单个日志文件也会越来越大日志文件占用磁盘空间很大查看相关信息不方便两种日志分割工具Apache自带rotatelogs分割工具实现第三方工具cronolog分割rotatelogs分割工具实验（1）安装httpd服务。[root@localhost ~]# yum install httpd -y ........省略安装过程（2）安装完毕后，我们可以查看，日志文件存放目录“/var/log/httpd/”可以看到并没有日志文件。当我们开启服务后再次查...
当jvm出现致命错误时，会生成一个错误文件 hs_err_pid<pid>.log，其中包括了导致jvm crash的重要信息，可以通过分析该文件定位到导致crash的根源，从而改善以保证系统稳定。当出现crash时，该文件默认会生成到工作目录下，然而可以通过jvm参数指定生成路径（JDK6中引入）：-XX:ErrorFile=./hs_err_pid<pid>.log该文件包含如下几类关键信息：日志头文件导致crash的线程信息所有线程信息安全点和锁信息堆信息本地代码缓存编译事件gc相...
mysql> show variables like ‘%version%‘; +-------------------------+------------------------------+ | Variable_name | Value | +-------------------------+------------------------------+ | innodb_version | 1.1.7 | | protocol_version | 10 | | slave_type_conversions | | | ve...
1.查看错误日志(实时)tailf nova-compute.log|awk‘{if ($4 == "ERROR") print}‘2.查看一段时间内的日志cat nova-compute.log|sed -n ‘/2016-03-23 16:15/,/2016-03-23 16:35/p‘3.查看时间段内失败的日志cat nova-compute.log|sed -n ‘/2016-03-23 16:15/,/2016-03-23 16:35/p‘|awk‘{if ($4 == "ERROR") print}‘4.读取特定行数awk, NR 已经读出的记录数awk‘NR==10,NR==15{print}‘5.高亮显示grep --color "INFO"原文：http...
本文实例讲述了THINKPHP项目开发中的日志记录用法。分享给大家供大家参考。具体方法如下：1、建立日志表复制代码 代码如下:CREATE TABLE `logs` ( `id` int(11) NOT NULL auto_increment, `guid` varchar(100) character set utf8 NOT NULL, `addtime` timestamp NOT NULL default CURRENT_TIMESTAMP, `account` varchar(100) character set utf8 NOT NULL, `nickname` varchar(100) character set utf8 NOT N...
Python实现分析出iis日志中每个ip一分钟出现的访问次数 1#iis日志分析，计算每个ip在一分钟内的访问次数 2from collections import Counter3import datetime4 5 f=open("log.log","r")6 pv_list=[]7for line in f:8if len(line.split())==15:9#print(line.split()[0:2])10 func_time=line.split()[0]+""+line.split()[1] 11 same_time=func_time.split(":")[0:2] 12 ip_time=line.split()[8]+""+func_time...
对于开源的项目来说的好处就是我们遇到什么问题可以通过看源码来解决。比如近期有个同事问我说，为啥JdbcTemplate中只有在Error的时候才打印出sql语句呢。我一想，这和log的配置有关系吧。 我们的系统中使用了slf4j作为日志管理工具，之前也好像看到过项目工程中配置的日志级别是error的，所以当代码错误时打印出sql语句应该也属于正常。但是想要正常运行时也打印出sql语句，相比和配置有关，但是应该配置那个级别呢？ 应该要看下J...
因为工作需求，最近在搭建日志分析系统，这里主要搭建的是系统日志分析系统，即rsyslog+elk。 因为目前仍为测试环境，这里说一下搭建的基础架构，后期上生产线再来更新最后的架构图，大佬们如果有什么见解欢迎指导。这里主要总结一下搭建过程。一.rsyslog rsyslog是如今大多数linux自带的日志收集，这里主要说一下rsyslog的简单配置。 client端配置它只需要更改准备发送的日志以及在末尾加上Server端使用的协议和IP即可，...
find /Applications/Xcode.app -name symbolicatecrash -type f拷贝symbolicatecrash一般情况下，第一次使用symbolicatecrash会产生一个error，如下的错误信息Error: "DEVELOPER_DIR" is not defined at /usr/local/bin/symbolicatecrash line 53.解决办法是输入:export DEVELOPER_DIR="/Applications/XCode.app/Contents/Developer"运行：./symbolicatecrash Mail.crash Mail.app.dSYM/ > cra.log不能显示代码到某行时，用如下方法...
日志格式如下：223.74.135.248 - - [11/May/2017:11:19:47 +0800] "POST /login/getValidateCode HTTP/1.1"40414227"http://www.yidianchina.com/login/getValidateCode""Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1)"分别是IP，访问时间，请求方法，请求URI，HTTP协议，响应状态码，响应体大小，referer，客户浏览器。 除了HTTP协议不用截取，其他的都匹配后，存储到数据库，以备后续分析。#!/usr/bin/python # -*- codin...
在安装成功Pig的基础上。本文将使用Pig对手机上网日志进行分析，详细过程例如以下：写在前面：手机上网日志文件phone_log.txt。文件内容 及 字段说明部分截图例如以下需求分析显示每一个手机号的上网流量情况。依次完毕下面步骤：1、将Linux本地文件phone_log.txt上传到HDFS运行命令dump C; 查看经过以上步骤处理后的结果查看经过以上步骤处理后的结果OK。齐活！原文：http://www.cnblogs.com/cynchanpin/p/6885745.html