前言：刚上线elk一个月左右，使用的kafka作为缓存队列，但是不知道为何，中间发生过好几次，elk突然没数据了，长达好几天都没有， 折腾了好久，好了，过几天又发生同样的状况。经查找，数据是有到达kafka，但是logstash读取不了。无奈之下，只能把kafka 更换为redis。 filebeat配置-------------filebeat: prospectors: - document_type: "web-hkgf-proxy-nginx-access" paths: - /data/logs/...
思维导图前言在很多业务情况下，我们都会在系统中加入redis缓存做查询优化。如果数据库数据发生更新，这时候就需要在业务代码中写一段同步更新redis的代码。这种数据同步的代码跟业务代码糅合在一起会不太优雅，能不能把这些数据同步的代码抽出来形成一个独立的模块呢，答案是可以的。架构图canal是一个伪装成slave订阅mysql的binlog，实现数据同步的中间件。上一篇文章《canal入门》我已经介绍了最简单的使用方法，也就是tcp模式。...
培训大数据架构开发！从零基础到高级，手把手培训！[技术QQ：2937765541]? ?----------------------------------------------------------------------------------------------------------------------------------课程目录：获取视频资料和培训解答技术支持地址?课程展示(永久免费更新！永久免费培训解答技术支持！)：获取视频资料和培训解答技术支持地址?原文：http://twskyn.iteye.com/blog/2289784
1. 首先使用idea创建一个springboot-web的壳子2. 将原工程的代码搬到新工程上 （后端代码部分）3. 将静态资源搬到resource目录下， 其中templates下面放的ftl文件before after:4. 配置文件application.properties： 多数据库，mybatis, redis, kafka, freemakerspring.application.name=myapp server.port=18080spring.velocity.enabled=true spring.velocity.prefix= spring.velocity.suffix=.vm spring.velocity.cache=false sp...
一,添加硬盘1>挂载好新硬盘后输入fdisk -l命令看当前磁盘信息2>可以看到除了当前的第一块硬盘外还有一块sdb的第二块硬盘，然后用fdisk /dev/sdb 进行分区3>进入fdisk命令，输入h可以看到该命令的帮助，按n进行分区4>这里输入e即分为逻辑分区，按p即分为主分区，我们要将这块盘分为主分区即输入p5>到这里输入该主分区为第几个主分区，由于是新盘我们输入1来分第一个主分区6>First Cylinder是选择该分区的起始磁盘数，这里可自定义也...
发现java的日志里面老是报错如下日志，还有kafka的消费者收不到消息，看来docker logs kafka日志如下： 原因估计是12月23日那天磁盘空间满了，导致redis和kafka异常 解决方法：重启了redis的这个节点172.18.144.94:7006重启了kafka就ok了 如下是redis cluster的报错 2020-01-16 17:10:00.098 pool-8-thread-3 ERROR com.hp.nova.common.todayuseronline.UserOnlineScheduleJob.userOnlineScheduleJob(UserOnlineScheduleJob.java...
话不多说，这些都是这几年来BATJ面试问的最多关于Java的面试题，大家可以以这个为标准！多做准备！ 帮忙转发一下，关注后添加助理vx：yunduoa2019或扫描下图二维码，跟随助理指引自行获取Mysql 与 Oracle 相比， Mysql 有什么优势？简洁描述 Mysql 中 InnoDB 支持的四种事务隔离级别名称，以及逐级之间的区别？在 Mysql 中 ENUM 的用法是什么？Mysql 中使用什么存储引擎？如何使用 Unix shell 登录 MysqlMysql 中有哪几种锁？简单介...
话不多说，直接上面试题，来看一下你还欠缺多少？ Mysql 与 Oracle 相比， Mysql 有什么优势？ 简洁描述 Mysql 中 InnoDB 支持的四种事务隔离级别名称，以及逐级之间的区别？ 在 Mysql 中 ENUM 的用法是什么？ Mysql 中使用什么存储引擎？ 如何使用 Unix shell 登录 Mysql Mysql 中有哪几种锁？简单介绍一下 JVM GC 的三种收集方法：标记清除、标记整理、复制算法的原理与特点，分别用在什么地方，如果让你优化收集方法，有什么思路...
从零基础到高级，一对一培训！[技术QQ：2937765541] ------------------------------------------------------------------------------------------------------------------------------------------- 课程体系：获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广，一直在线为你培训解答！)： 获取视频资料和培训解答技术支持地址 大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeep...
从零基础到高级，一对一技术培训！全程技术指导！[技术QQ：2937765541] https://item.taobao.com/item.htm?id=535950178794 ------------------------------------------------------------------------------------- Java互联网架构师培训！https://item.taobao.com/item.htm?id=536055176638大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeeper Kafka Redis MongoDB 机器学习 云计算 视频教程 Java互...
对于mysql，redis，Kafka，zookeeper磁盘缓存技术使用分析 大部分组件是基于磁盘存储的，但由于CPU速度和磁盘速度之间的鸿沟，都会使用缓存技术来提高性能，缓存简单来说就是一块内存区域，首先将从磁盘读到的数据放在缓存中，之后查询或修改时直接操作缓存，对于缓存中的数据则以一定的频率刷新到磁盘上，怎样缓存，缓存多少，何时刷新，这些影响着整个组件的性能。在看过一些关于mysql等组件的架构原理后，会发现不论是基于磁盘的...
Java的诞生已经超过了20年。一直以来，Java以其语法简单，开发者可以快速上手，适应众多领域，具有跨平台能力等特性，吸引了无数程序员学习和使用。基于Java优秀的特性和庞大的使用基础，各大公司对Java工程师的需求也是源源不断。 但作为面试者，想进入BAT并成长为一名高级Java工程师却没那么容易。虽然面试者具备了一定的工作年限要求，也长期使用Java语言进行开发，但面试时，面对刨根问底的提问，经常感觉get不到面试官的点，自...
作为一个架构师，首先项目框架必须是要会搭建的。今天就来介绍线上的框架搭建，注意不是学习。 用到的技术 maven构建整合springboot+mybatis+redis+kafka整合springcloud+nacos 搭建步骤 uc-parent工程 新建一个 uc-parent（uc可以是自己公司的简称） maven 聚合父工程，用来统一jar包版本管理。里面就一个pom文件: pom.xml ? 注意修改下repository标签，改成自己的仓库地址 失效了的话可以联系我，工程结构图:order 聚合工程 orde...
如题。你们的队列是怎么用？ 我是这么用的，一个生产，然后后台跑了crontab定时跑队列里面的内容。这个是我面试的时候面试官问我的，他就对我说你这么用不对，队列不是这么用，他说你要用crontab跑队列，哪和用数据库做个队列没啥区别。但我确实是这么用，我又没好意思问他怎么才是对的。。。。各位种大神你们是怎么用的啊？回复内容：如题。你们的队列是怎么用？ 我是这么用的，一个生产，然后后台跑了crontab定时跑队列里面的内容...
download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gztar zxvf jdk-8u45-linux-x64.tar.gz cd jdk-8u45-linux-x64 sudo vi /etc/profile添加如下内容： export JAVA_HOME=/home/dir/jdk1.8.0_45 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin安装 Python sudo apt-get install python安装 zookeeper wget http://mirror.b...