一、准备三台服务器，配置好主机名和ip地址 二、服务器初始化：包括安装常用命令工具，修改系统时区，校对系统时间，关闭selinux，关闭firewalld，修改主机名，修改系统文件描述符，优化内核参数，优化数据盘挂载参数1、安装常用命令工具yum install vim net-tools bash-completion wget unzip ntp bzip2 epel-release -y2、修改系统时区，校对系统时间timedatectl set-timezone Asia/Shanghaintpdate pool.ntp.org3、关闭selinuxv...
发现java的日志里面老是报错如下日志，还有kafka的消费者收不到消息，看来docker logs kafka日志如下： 原因估计是12月23日那天磁盘空间满了，导致redis和kafka异常 解决方法：重启了redis的这个节点172.18.144.94:7006重启了kafka就ok了 如下是redis cluster的报错 2020-01-16 17:10:00.098 pool-8-thread-3 ERROR com.hp.nova.common.todayuseronline.UserOnlineScheduleJob.userOnlineScheduleJob(UserOnlineScheduleJob.java...
1. Kafka集群的安装准备1.1. 选择安装Kafka的版本由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。其中2.11是推荐版本。1.2. 下载并解压安装包解压文件，删除之前的的安装记录，并重命名tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/ cd /export/servers/ rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka mv kafka_2.11-1.0.0 kafka 2. 查看目录及修改配置文件...
kafka是大数据组件中的消息队列，俗语有云：系统卡不卡，全看kafka。kafka的使用能极大的提升的系统吞吐量。本文将阐述在CentOS7中安装kafka。1 系统、软件以及前提约束CentOS 7 64 工作站 作者的机子ip是192.168.100.200，请读者根据自己实际情况设置jdk1.8.0_162 已经安装完毕，并配置环境变量，作者的环境变量为/root/jdk1.8.0_162，请读者根据自己实际情况设置 jdk安装 https://www.jianshu.com/p/08b94347bb8azookeeper已经安...
一、环境操作系统和软件版本介绍1.环境操作系统为CentOS Linux release 7.2.1511 (Core)可用cat /etc/redhat-release查询2.软件版本Kafka版本为：0.10.0.0二、详细安装步骤1.下载kafka_2.10-0.10.0.0.tgz到/data/soft目录2.将kafka_2.10-0.10.0.0.tgz解压到/data/app/Kafka目录tar –xzf kafka_2.10-0.10.0.0.tgz –C /data/app/Kafka3.进入解压目录(在此为/data/app/Kafka/kafka_2.10-0.10.0.0/bin)，启动zookeeper服务。可以在命...
在Centos 上安装Kafka集群安装准备：版本Kafka版本：kafka_2.11-0.9.0.0Zookeeper版本：zookeeper-3.4.7Zookeeper 集群：bjrenrui0001 bjrenrui0002 bjrenrui0003Zookeeper集群的搭建参见：在CentOS上安装ZooKeeper集群物理环境安装三台物理机：192.168.100.200 bjrenrui0001（运行3个Broker）192.168.100.201 bjrenrui0002（运行2个Broker）192.168.100.202 bjrenrui0003（运行2个Broker）该集群的创建主要分为三步，单节点单Brok...
CentOS7安装完成后的网络配置 1.输入命令cd /etc/sysconfig/network-scripts/ #进入网络配置文件目录, 2.输入：vi ifcfg-ens33编辑配置文件(此处是ifcfg-ens33,若没有该文件找ifcfg-ens开头的，vi是编辑命令，进入后再按”I”进行编辑，编辑完按“Esc”退出操作并按”:wq”进行保存) 修改内容为： TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=none DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes I...
Docker搭建Kafka(单点，含：zookeeper、kafka-manager)下载相关容器$ docker pull wurstmeister/zookeeper $ docker pull wurstmeister/kafka $ docker pull sheepkiller/kafka-manager 运行相关容器启动zookeeper$ docker run -d --name zookeeper --publish 2181:2181 \ -v /etc/localtime:/etc/localtime --restart=always wurstmeister/zookeeper 启动kafka$ docker run -d --name kafka --publish 9082:9092 \ --link zookeep...
centos7下Kerberos认证并集成Kafka版本环境：（1）centos7.6 （2）kafka_2.12-0.10.2.2 （3）kerberos （4）flink-1.11.3-bin-scala_2.11 （5）jdk1.8 注意：其中“b.kuxiao”是我的hostname一、kafka安装 1.1.去官网下载kafka kafka官网：http://kafka.apache.org/downloads. 选择自己需要的版本：（本文我使用的是0.10.2.2版本） 1.2.解压.tgz tar -zxvf kafka_2.12-0.10.2.2.tgz1.3.修改配置文件 进入config/server.properties...
一、安装Kafka 1、安装docker：curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 2、安装docker-compose：yum install docker-compose 3、使用docker-compose.yml安装启动Kafka： （1）先启动docker服务：systemctl start docker （2）安装Kafka及后台启动docker：docker-compose -f docker-compose.yml up -d 如果下载过慢则设置阿里镜像并且重启docker服务：yum-config-manager --add-repo http://mirrors...
文章目录 准备集群安装1、创建目录2、解压缩安装包3、修改配置文件4、启动准备 1、首先安装zookeeper作为为集群提供高可用 2、准备kafka按装包kafka_2.11-2.1.1.tgz 3、准备三台机器hadoop-slave1、hadoop-slave2、hadoop-slave3 集群安装 1、创建目录 创建kafka和kafkalogs目录，并将压缩包存放到/opt/kafka目录下，创建后的全路径如下所示： /opt/kafka /opt/kafka/kafkalogs2、解压缩安装包 tar -zxvf kafka_2.11-2.1.1.tgz3、修...
环境：jdk1.8kafka2.11centos7cd kafka #进入自己创建的kafka目录wget http://mirror.bit.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz #下载安装包tar -zxvf kafka_2.13-2.6.0.tgz #解压单机模式下，启动kafka命令：[root@cat kafka_2.13-2.6.0]# bin/kafka-server-start.sh -daemon config/server.properties #加上 -daemon 让服务在后台运行
参考文档：https://blog.csdn.net/zzq900503/article/details/83348419 安装环境准备 jdk1.8 jdk安装：https://www.cnblogs.com/miamianfighting/p/13965219.html 安装kafka 在官网下载kafka安装包，并解压 http://kafka.apache.org/downloads安装zookeeper服务 方案1：使用kafka自带的kafaka 适用于测试等小型场景或者单点kafka 使用kafka安装包中的脚本启动单节点zookeeper实例 bin/zookeeper-server-start.sh -daemon config/zo...
当前环境：CentOS7、kafka_2.11-2.3.0 1.解压文件tar -xzf kafka_2.12-2.3.0.tgz cd kafka_2.11-2.3.02.创建log文件夹mkdir log 3.编写当前的server.properties文件cd /config vi server.properties 1.设置日志文件夹2.设置被访问的路径如果出现不能访问的情况可能就是当前的listeners中设置的路径有错误！ 4.开放9092端口让外界访问//开放9092端口 firewall-cmd --zone=public --add-port=9092/tcp --permanent //重启防火墙 sys...
Centos中用ssh启动kafka集群或zookeeper集群出现错误： /opt/module/kafka/bin/kafka-run-class.sh: line 258: exec: java: not found 但是不是用ssh单独启动的时候是可以启动的 当我们运行ssh hadoop02 "which java" 也就是说ssh找不着java的路径 ，环境变量没有加载 解决： ssh执行远程命令或脚本的时候，只会加载个人home文件夹下的.bashrc文件，因此，我们可以在.bashrc文件中添加java的环境变量vim ~/.bashrc添加路径：ex...