k8s集群上会跑各种各样的系统和应用程序的pod，而为了快速发现问题和更好的做日志监控，就必须要做日志的采集和集中存储展示了。综合考虑之下，我们推荐使用EFK技术栈来实现这个目的。
k8s日志采集架构选型1，每台节点采用DaemonSet部署agent：原理：每台节点采用DaemonSet部署一个采集日志的agent，从/var/log/containers/目录采集所有容器的日志，而容器中的日志需要遵循docker的日志规范，把日志打入stdout/stderr，这样k8s会自...
nginx是没有以日期格式作为文件名来存储的，所有的日志都是以一个名字来存储，长久以来日志文件会变得很大。这样非常不利于分析。 虽然nginx没有这个功能但我们可以写一个小脚本配合计划任务来达到这样的效果。 脚本代码如下（cutn/usr/local/tool/cutnginxlog.sh） #!/bin/sh# Program:# Auto cut nginx log script.# 2012/2/5 b4dboy First release QQ:137 51 52 53 # nginx日志路径 www.2cto.comLOGS_PATH=/var/wwwroot/bb...
作者：泥沙砖瓦浆木匠网站：http://blog.csdn.net/jeffli1993个人签名：打算起手不凡写出鸿篇巨作的人，往往坚持不了完成第一章节。交流QQ群：【编程之美 365234583】http://qm.qq.com/cgi-bin/qm/qr?k=FhFAoaWwjP29_AonqzL0rpdQAjjqlHQQ如果我的帮到了你，是否乐意捐助一下或请一杯啤酒也好呢？有你支持，干的更好~点这参与众筹 我的支付宝：13958686678
一、 前言 泥瓦匠又和大家见面了，最近两天我在Code Review ，顺便代码小小...
问题是，原来系统有日志操作的代码，但日志最终没有存到数据库。xml中拦截器配置：<mvc:interceptor><mvc:mapping path="/admin/**"/><bean id="logInterceptor" class="com.store.interceptor.LogInterceptor"/></mvc:interceptor>LogInterceptor： @Overridepublicvoid postHandle(HttpServletRequest request,HttpServletResponse response, Object handler,ModelAndView modelAndView) throws Exception{List<LogConfig> lo...
3.5 表结构定义文件MySQL 都有一个以frm为后缀的文件，该文件记录了该表的表结构定义。frm还用来存放视图的定义，如用户创建了一个v_a 视图，那么对应会产生一个v_a.frm 文件，用来记录视图的定义。该文件是文本文件，可用cat查看。3.6 InnoDB存储引擎文件InnoDB文件包括重做文件、表空间文件。3.6.1 表空间文件InnoDB采用将存储的数据按表空间进行存放的设计。在默认配置下，会有一个初始大小为10MB，名为ibdata1的文件。该文件就...
日志缓冲必须被刷新持久化存储，以确保提交的事务完全被持久化了，如果和持久化相比更在乎性能，可以修改innodb_flush_log_at_trx_commit变量来控制日志缓冲拴心的频繁程度，可能的设置如下：0 把日志缓冲写到日志文件，并且每秒钟刷新一次，但是事务提交时不做任何事。1 将日志缓冲写到日志文件，并且每次提交事务都刷新到持久化存储，这是默认的（并且是最安全的）设置，该设置能保证不会丢失任何已经提交的事务，除非磁盘或操作...
DHCP（Dynamic Host Configuration Protocol，动态主机配置协议）是一种有效的IP 地址分配手段，已经广泛地应用于各种局域网管理。它能动态地向网络中每台计算机分配唯一的IP 地址，并提供安全、可靠、简单和统一的TCP/IP 网络配置，确保不发生IP 地址冲突。当在服务器上启用DHCP 后，我们希望了解服务的运行情况，希望看到详细日志。可以通过下面的命令了解到DHCP 服务的日志文件在什么地方。以CentOS6.9系统为例，查看是否安装了...
一. 日志结构1.1、物理日志（0）物理日志即数据库的.ldf文件，当然后缀名是可以自定义的，默认是.ldf； （1）一个SQL SERVER数据库，可以定义多个物理日志文件，SQL SERVER逻辑上把它们当成一个整体，顺序写入日志纪录，用完第一个再用下一个：即第一个日志文件的当前空间，如果没有可分配的VLF时，就会使用下一个日志文件的VLF，直到最后一个日志文件也没有可分配的VLF时，会重新回到第一个日志开始增长；VLF的使用如下图：（2）物...
一、rsyslogd服务管理系统日志，随机启动[root@clz rsyslog.d]# systemctl is-active rsyslog.service
active
[root@clz rsyslog.d]# systemctl is-enabled rsyslog.service
enabled rsyslog的配置文件为/etc/rsyslog.conf,日志文件存储在/var/log目录下面，； 日志的7个级别,debug级别仅用于调试，也是最低的级别： 1、info;2、notice；3、warning;4、err;5、crit;6、alert;7、emerg; 在配置文件里...
.大型网站优化之MySql优化
1.优化和不优化的对比的
在业界当中我们有一个叫大数据(big data)的概念,所谓的大数据指代千万级别以上的数据作为起步的数据。所以我们现在需要对两张都具有50331650条记录的表进行查询对比，其中表名为tbl_no的表是没有做过任何优化手段的表,表名为tbl_yes的表是做过优化手段的表。这个实验的目的是观察具有优化手段和不具有优化手段的查询中速度的差别。
实验条件:
1)两张表的数据记录总数是相同的
2)两...
常要oracle数据库定时的自动执行一些脚本，或做数据库备份，或做数据的提炼，或做数据库的性能优化，包括重建索引等等的工作,这时 常要Oracle数据库定时的自动执行一些脚本，或做数据库备份，或做数据的提炼，或做数据库的性能优化，包括重建索引等等的工作,这时需要用到一个函数dbms_job.submit，来完成Oracle定时器Job时间的处理上。使用dbms_job.submit这个函数，我们只需要考虑两个事情：安排某一任务，和定制一个执行任务的时...
通常MySQL单天的日志 只记录当天的日志信息,如果需要查看一月内的日志信息需要对每天的日志表结果集合进行拼接，通常用到 union 通常MySQL单天的日志 只记录当天的日志信息,如果需要查看一月内的日志信息需要对每天的日志表结果集合进行拼接，通常用到 union 。
储存过程:
drop PROCEDURE if EXISTS unionSp;DELIMITER //create procedure unionSp(sTime varchar(32), eTime varchar(32),tchema varchar(32))
begin
declare sqlVa...
通过下面这个可以执行单个数据库日志压缩，问题每次都要写数据库名字，日志大的话执行速度没有那么快有没有办法更快一点？ 有没有办法一次性收缩所有数据库？ 代码如下:alter database 数据库名 set recovery simple go dbcc shrinkdatabase (数据库名) go alter database 数据库名 set recovery full go 目前也有压缩日志的工具，一个B/S界面形式的操作压缩数据库的，就是在选择数据库的时候老需要重新去选择具体的库，而且数据...
1.1 存储引擎的介绍1.1.1 文件系统存储
文件系统：操作系统组织和存取数据的一种机制。文件系统是一种软件。
类型：ext2 3 4 ，xfs 数据。 不管使用什么文件系统，数据内容不会变化，不同的是，存储空间、大小、速度。
1.1.2 mysql数据库存储
MySQL引擎： 可以理解为，MySQL的“文件系统”，只不过功能更加强大。
MySQL引擎功能： 除了可以提供基本的存取功能，还有更多功能事务功能、锁定、备份和恢复、优化以及特殊功能。
1.1.3 ...
在实际项目中遇到了ORA-00257错误（空间不足错误），通过查找资料，绝大部分说这是由于归档日志太多，占用了全部的硬盘剩余空间导 ORA-00257 归档日志错误解决方案
在实际项目中遇到了ORA-00257错误（空间不足错误），通过查找资料，绝大部分说这是由于归档日志太多，占用了全部的硬盘剩余空间导致的，通过简单删除日志或加大存储空间就能够解决。
诊断过程：
（1）查看数据库REDOLOG情况:
SQL> conn /@dmsasc as sysdba
SQL> sele...
，比如100G，这样mongodb会按照LRU算法来复用空间，不用惦记着删日志