参考文档 https://yq.aliyun.com/articles/679721 https://www.cnblogs.com/keithtt/p/6410249.html https://github.com/kiwigrid/helm-charts/tree/master/charts/fluentd-elasticsearch https://github.com/kubernetes/kubernetes/tree/5d9d5bca796774a2c12d4e4443e684b619cda7ee/cluster/addons/fluentd-elasticsearchKubernetes日志收集汇总关于kubernetes的日志分好几种，针对kubernetes本身而言有三种：1、资源运行时的event...
本文是基于CentOS7的环境下使用rpm包安装进行说明。ELK的默认日志记录会增长很多，除ElasticSearch外，都会无限增长，长时间运行可能带来灾难性的后果（如：节点宕机）。这就是我们今天要面对的主要问题。主要策略为限制日志总量：时间+size，每天rotate一个日志文件或者每当日志文件大小超过256M，rotate一个新的日志文件，并且最多保留7天之内的日志文件。 ElasticSearch默认配置问题ElasticSearch默认情况下会每天rolling一个文...
一、以SeatefulSet的方式创建单节点elasticsearch的yaml文件# cat elasticsearch.yaml apiVersion: apps/v1 kind: StatefulSet metadata:name: elasticsearchnamespace: kube-systemlabels:k8s-app: elasticsearch spec:serviceName: elasticsearchselector:matchLabels:k8s-app: elasticsearchtemplate:metadata:labels:k8s-app: elasticsearchspec:initContainers:- name: busyboximagePullPolicy: IfNotPresentimage: busybox:l...
前言： 之前有说过elk收集nginx日志，现在来说一下收集容器集群的日志收集Elk的安装这里不在说了，上来直接怼，这里是elk的服务器：的服务状态：以及端口 Logstash是主要的配置内容这里：如下 input { beats { port => 5044 }} filter { if "nginx-accesslog" in [tags] { grok { match => { "message" => "%{HTTPDATE:timestamp}\|%{IP:remote_addr}\|%{IPORHOST:http_host}\|(?:%{D...
package com.doctor.logbackextend;import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties;import kafka.consumer.Consumer; import kafka.consumer.ConsumerConfig; import kafka.consumer.ConsumerIterator; import kafka.consumer.KafkaStream; import kafka.javaapi.consumer.ConsumerConnector;import org.apache.commons.lang.RandomStringUtils; import org.junit.Test; im...
Oracle 10G、oracle11g、oracle 12C版本如果操作系统是AIX、HPUX、Linux下，一般都会采取ASM建库方式，特别是oracle 11g和oracle 归档日志存放形式主要存放方式有以下方式： 一、ASM方式 Oracle 10G、oracle11g、oracle 12C版本如果操作系统是AIX、HPUX、Linux下，，一般都会采取ASM建库方式，特别是oracle 11g和oracle12C，因为oracle已经不支持裸设备建库（手工建库还是可以裸设备），如果没有购买HACMP、HP MC软件，那一般开启归...
恢复归档日志：select * from v$log_history t where t.THREAD#= 恢复归档日志：select * from v$log_history t where t.THREAD#=1order by t.FIRST_TIME desc实例1：恢复一个归档日志：run{allocate channel dev_0 type sbt_tapeparms SBT_LIBRARY=/opt/omni/lib/libob2Oracle8_64bit.so,ENV=(OB2BARTYPE=Oracle8,OB2APPNAME=test,OB2BARLIST=db01);restore archivelog sequence 2102;release channel dev1;} 恢复多个归档日志：r...
-s "2020-07-03 00:00:00" Fri Jul 3 00:00:00 CST 2020 然后，启动所有节点的集群，可以依次观察 集群的警告日志，grid用户下，$ORACLE_HOME/log/rac1/alertrac1.log2020-07-02 09:00:26.667: [ohasd(24600)]CRS-2112:The OLR service started on node rac1. 2020-07-02 09:00:26.675: [ohasd(24600)]CRS-1301:Oracle High Availability Service started on node rac1. 2020-07-02 09:00:26.676: [ohasd(24600)]CRS-8017:loca...
11g RAC集群位置： Grid ： $ORACLE_HOME/log/`hostname -s` 19c RAC 集群日志位置： Grid： $ ADR_BASE /diag/crs/rac1/crs/trace 所有的集群日志文件被称为TRACE文件，并用带.trc扩展名（除集群警报日志）结束，而不是.log扩展这是在以前的版本的情况。 在 Oracle 12c/ 19c 中，集群日志的位置在ADR_HOME。 $ADR_BASE/diag/crs/hostname/crs。 我们可以证实，从ADRCI命令行，如下图所示：[+ASM1]@ht01[/home/grid]$adrci ADRCI...
在单机环境下，Oracle是运行在OS Kernel 之上的。 OS Kernel负责管理硬件设备，并提供硬件访问接口。 Oracle 不会直接操作硬件， 在单机环境下，Oracle是运行在OS Kernel 之上的。 OS Kernel负责管理硬件设备，并提供硬件访问接口。 Oracle 不会直接操作硬件，而是有OS Kernel代替它来完成对硬件的调用请求。 在集群环境下， 存储设备是共享的。OS Kernel 的设计都是针对单机的，只能控制单机上多个进程间的访问。 如果还依赖OS Ke...
一、以SeatefulSet的方式创建单节点elasticsearch的yaml文件# cat elasticsearch.yaml apiVersion: apps/v1 kind: StatefulSet metadata:name: elasticsearchnamespace: kube-systemlabels:k8s-app: elasticsearch spec:serviceName: elasticsearchselector:matchLabels:k8s-app: elasticsearchtemplate:metadata:labels:k8s-app: elasticsearchspec:initContainers:- name: busyboximagePullPolicy: IfNotPresentimage: busybox:l...
[grid@shurkcs ~]$ adrci ADRCI: Release 12.2.0.1.0 - Production on Thu Mar 1 09:25:45 2018 Copyright (c) 1982, 2017, Oracle and/or its affiliates. All rights reserved. ADR base = "/U01/u01/grid"adrci> show homesADR Homes: diag/asm/user_root/host_3751460993_107diag/asm/user_grid/host_3751460993_107diag/asm/+asm/+ASMdiag/crs/shurkcs/crsdiag/clients/user_root/host_3751460993_107diag/clients/user_grid...
安装Logstash步骤 1. 安装Java 8 官方说明：需要安装Java 8 ，不支持Java 9... 2. 安装Logstash可以同elasticsearch一样建立repo文件通过yum安装，也可以去官网直接下载rpm包进行本地安装
1、部署成功之后，启动storm集群。 依次启动集群的各种角色 2、查看nimbus的日志信息 在nimbus的服务器上 cd /export/servers/storm/logs tail -100f /export/servers/storm/logs/nimbus.log3、查看ui运行日志信息 在ui的服务器上，一般和nimbus一个服务器 cd /export/servers/storm/logs tail -100f /export/servers/storm/logs/ui.log4、查看supervisor运行日志信息 在supervisor服务上 cd /export/servers/storm/logs tail -100...
#cdh的各组件的日志一般在/var/log目录下，查看/var/log下使用空间较大的文件夹，并由大到小排列 cd /var/log/ du -s ./* | sort -nr rm -rf *.out.* rm -rf *.log.* #Cloudera Management Service服务产生的日志，存在/var/lib/. cd /var/lib du -s ./* | sort -nr rm /var/lib/cloudera-host-monitor/ts/*/partition*/* -rf rm /var/lib/cloudera-service-monitor/ts/*/partition*/* -rf#删除mysql的binlog日志 rm -rf /val/lib...