此文转载自：https://blog.csdn.net/qq_46388795/article/details/110132023以下来自粉丝投稿： 三面大概九十分钟，问的东西很全面，需要做充足准备，就是除了概念以外问的有点懵逼了（呜呜呜~）。回来之后把这些题目做了一个分类并整理出答案（强迫症的我~狂补知识~）分为spring+jvm+微服务+kafka+MongoDB等五类，接下来分享一下我的这京东面试的面经+一些我的学习笔记。 注意注意：需要小编整理的spring+jvm+微服务+kafka+Mong...
Java的诞生已经超过了20年。一直以来，Java以其语法简单，开发者可以快速上手，适应众多领域，具有跨平台能力等特性，吸引了无数程序员学习和使用。基于Java优秀的特性和庞大的使用基础，各大公司对Java工程师的需求也是源源不断。 但作为面试者，想进入BAT并成长为一名高级Java工程师却没那么容易。虽然面试者具备了一定的工作年限要求，也长期使用Java语言进行开发，但面试时，面对刨根问底的提问，经常感觉get不到面试官的点，自...
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理? 针对这个问题，有以下几个建议： 最好的方法是不直接传送这些大的数据。如果有共享存储，如NAS, HDFS, S3等，可以把这些大的文件存放到共享存储，然后使用Kafka来传送文件的位置信息。 第二个方法是，将大的消息数据切片或切块，在生产端...
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Kafka做消息队列罢了。kafka介绍Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而...
我是Apache Kafka的新手.我一直在阅读有关“压缩”清理策略的信息.我对此特别感兴趣,因为我想在用于同步不同数据存储以实现最终一致性的主题上使用此策略. 我看到有一个delete.retention.ms选项可供我使用.但这仅适用于“删除”墓碑/有效载荷.我了解到,此选项限制了我在无法查看offset = 0的记录后可以重新运行使用者的时间.但是,我从不硬删除系统中的任何内容.换句话说,我永远不会“删除”墓碑/有效载荷. 由于我永远都不会删除墓碑...
我有一个使用kafka的java项目.我用sonarqube 5.0(声纳maven插件2.5)扫描它,我得到这个：[INFO] [13:48:22.488] Sensor JavaSquidSensor... [INFO] [13:48:22.511] Java Main Files AST scan... [INFO] [13:48:22.512] 8 source files to be analyzed [ERROR] [13:48:22.655] Class not found: scala.Predef$$less [ERROR] [13:48:22.655] Class not found: scala.Predef$$less$colon [ERROR] [13:48:22.680] Class not found: scal...
.6]#pwd /data0/xxx/zookeeper-3.4.6 [root@localhost zookeeper-3.4.6]#bin/zkServer.sh start这里路径在zookeeper根目录启动，主要是这样运行会自动在当前目录生成一个日志文件。也就是说在哪个目录启动，日志文件就在哪儿。这是为了将日志文件放在该目录的一种做法。启动kafka/data0/xxx/kafka_2.11-0.8.2.1/bin/kafka-server-start.sh /data0/xxx/kafka_2.11-0.8.2.1/config/server-0.properties > /data0/xxx/kafka_2.11-0.8....
1. Kafka 诞生背景Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper 协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于 hadoop 的批处理系统、低延迟的实时系统、storm/Spark 流式处理引擎，web/nginx 日志、访问日志，消息服务等等，用 scala语言编写，Linkedin 于 2010 年贡献给了 Apache 基金会并成为顶级开源项目。...
前言你的努力，终将成就无可替代的自己本科毕业后就一直从事Java开发的工作，和多数人一样，最开始从事crud的工作，看着自己的同学一步一步往上走，自己还是在原地踏步，说实话这不是自己想要的状态。 一年半后开始沪漂生活，又摸爬滚打了一年半，薪资基本上在16K。疫情在家开始了系统的学习，目的就是为了进大厂，得到更多的学习机会，也是为了自己到所谓的“35岁”之后，也能在老家恰一口好饭。 努力也没有白费，8个月时间的系统...
consumer：package cn.miaoying.consumer;import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties;import kafka.consumer.ConsumerConfig; import kafka.consumer.ConsumerIterator; import kafka.consumer.KafkaStream; import kafka.javaapi.consumer.ConsumerConnector; import kafka.serializer.StringDecoder; import kafka.utils.VerifiableProperties; public class TestCon...
?前文摘要在上一篇文章《Kafka的Lag计算误区及正确实现》中介绍了如何计算消费者的消费滞后量(Lag)，并且讲解了如何调用Kafka的kafka.admin.ConsumerGroupCommand文件中的KafkaConsumerGroupService来发送OffsetRequest和OffsetFetchRequest两个请求，进而通过两个请求结果之间的差值来获得结果。不过如果你不想修改kafka-core的代码并重新编译的话，这种实现方式无法成功，所以本文的主要目的就是通过调用更底层的API来实现不修改...
由于今年的项目基本都是B/S架构的分布式软件设计，因此被逼无奈只能开始自学JAVA WEB后端进行开发，后续会陆续总结一些技术文档，便于复现与归档。 自学教程参见B站尚硅谷大数据生态圈开发课程，https://www.bilibili.com/video/BV17t411W7wZ 真就B站大学，B站流批！优雅整合SpringBoot框架与Kafka消息中间件 一、Kafka虚拟机环境搭建（非集群）1、分布式服务管理框架——Zookeeper入门2、Zookeeper环境搭建与参数配置2.1、下载Zoo...
首先创建maven项目，并添加依赖，pom文件如下： <dependencies><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version> 0.10.0.0</version></dependency><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-streams</artifactId><version>0.10.0.0</version></dependency></dependencies><build><plugins><!-- java编译插件 --><plugin><groupId>org.apache.maven.plug...
152. kafka 可以脱离 zookeeper 单独使用吗？为什么？ kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。 153. kafka 有几种数据保留的策略？ kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。 154. kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个时候 kafka 将如何处理？ 这个时候 kafka 会执行数据清除工作，时间和大小不论那个...
【README】本文主要对 java客户端作为kafka 生产者进行测试， 消费者由 centos的kafka命令行线程扮演； 【1】普通生产者 1.1、生产者代码 /*** 普通生产者 */ public class MyProducer {public static void main(String[] args) {/* 1.创建kafka生产者的配置信息 */Properties props = new Properties();/*2.指定连接的kafka集群, broker-list */props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "centos201:9092"); /*3....