一、准备三台服务器,配置好主机名和ip地址 二、服务器初始化:包括安装常用命令工具,修改系统时区,校对系统时间,关闭selinux,关闭firewalld,修改主机名,修改系统文件描述符,优化内核参数,优化数据盘挂载参数1、安装常用命令工具yum install vim net-tools bash-completion wget unzip ntp bzip2 epel-release -y2、修改系统时区,校对系统时间timedatectl set-timezone Asia/Shanghaintpdate pool.ntp.org3、关闭selinuxv...
发现java的日志里面老是报错如下日志,还有kafka的消费者收不到消息,看来docker logs kafka日志如下: 原因估计是12月23日那天磁盘空间满了,导致redis和kafka异常 解决方法:重启了redis的这个节点172.18.144.94:7006重启了kafka就ok了 如下是redis cluster的报错 2020-01-16 17:10:00.098 pool-8-thread-3 ERROR com.hp.nova.common.todayuseronline.UserOnlineScheduleJob.userOnlineScheduleJob(UserOnlineScheduleJob.java...
1. Kafka集群的安装准备1.1. 选择安装Kafka的版本由于kafka是scala语言编写的,基于scala的多个版本,kafka发布了多个版本。其中2.11是推荐版本。1.2. 下载并解压安装包解压文件,删除之前的的安装记录,并重命名tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
cd /export/servers/
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
mv kafka_2.11-1.0.0 kafka 2. 查看目录及修改配置文件...
kafka是大数据组件中的消息队列,俗语有云:系统卡不卡,全看kafka。kafka的使用能极大的提升的系统吞吐量。本文将阐述在CentOS7中安装kafka。1 系统、软件以及前提约束CentOS 7 64 工作站 作者的机子ip是192.168.100.200,请读者根据自己实际情况设置jdk1.8.0_162 已经安装完毕,并配置环境变量,作者的环境变量为/root/jdk1.8.0_162,请读者根据自己实际情况设置
jdk安装 https://www.jianshu.com/p/08b94347bb8azookeeper已经安...
一、环境操作系统和软件版本介绍1.环境操作系统为CentOS Linux release 7.2.1511 (Core)可用cat /etc/redhat-release查询2.软件版本Kafka版本为:0.10.0.0二、详细安装步骤1.下载kafka_2.10-0.10.0.0.tgz到/data/soft目录2.将kafka_2.10-0.10.0.0.tgz解压到/data/app/Kafka目录tar –xzf kafka_2.10-0.10.0.0.tgz –C /data/app/Kafka3.进入解压目录(在此为/data/app/Kafka/kafka_2.10-0.10.0.0/bin),启动zookeeper服务。可以在命...
在Centos 上安装Kafka集群安装准备:版本Kafka版本:kafka_2.11-0.9.0.0Zookeeper版本:zookeeper-3.4.7Zookeeper 集群:bjrenrui0001 bjrenrui0002 bjrenrui0003Zookeeper集群的搭建参见:在CentOS上安装ZooKeeper集群物理环境安装三台物理机:192.168.100.200 bjrenrui0001(运行3个Broker)192.168.100.201 bjrenrui0002(运行2个Broker)192.168.100.202 bjrenrui0003(运行2个Broker)该集群的创建主要分为三步,单节点单Brok...
CentOS7安装完成后的网络配置
1.输入命令cd /etc/sysconfig/network-scripts/ #进入网络配置文件目录,
2.输入:vi ifcfg-ens33编辑配置文件(此处是ifcfg-ens33,若没有该文件找ifcfg-ens开头的,vi是编辑命令,进入后再按”I”进行编辑,编辑完按“Esc”退出操作并按”:wq”进行保存)
修改内容为: TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
I...
Docker搭建Kafka(单点,含:zookeeper、kafka-manager)下载相关容器$ docker pull wurstmeister/zookeeper $ docker pull wurstmeister/kafka $ docker pull sheepkiller/kafka-manager 运行相关容器启动zookeeper$ docker run -d --name zookeeper --publish 2181:2181 \ -v /etc/localtime:/etc/localtime --restart=always wurstmeister/zookeeper 启动kafka$ docker run -d --name kafka --publish 9082:9092 \ --link zookeep...
centos7下Kerberos认证并集成Kafka版本环境:(1)centos7.6
(2)kafka_2.12-0.10.2.2
(3)kerberos
(4)flink-1.11.3-bin-scala_2.11
(5)jdk1.8 注意:其中“b.kuxiao”是我的hostname一、kafka安装
1.1.去官网下载kafka
kafka官网:http://kafka.apache.org/downloads. 选择自己需要的版本:(本文我使用的是0.10.2.2版本)
1.2.解压.tgz
tar -zxvf kafka_2.12-0.10.2.2.tgz1.3.修改配置文件
进入config/server.properties...
一、安装Kafka
1、安装docker:curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 2、安装docker-compose:yum install docker-compose 3、使用docker-compose.yml安装启动Kafka: (1)先启动docker服务:systemctl start docker (2)安装Kafka及后台启动docker:docker-compose -f docker-compose.yml up -d 如果下载过慢则设置阿里镜像并且重启docker服务:yum-config-manager --add-repo http://mirrors...
文章目录
准备集群安装1、创建目录2、解压缩安装包3、修改配置文件4、启动准备
1、首先安装zookeeper作为为集群提供高可用 2、准备kafka按装包kafka_2.11-2.1.1.tgz 3、准备三台机器hadoop-slave1、hadoop-slave2、hadoop-slave3
集群安装
1、创建目录
创建kafka和kafkalogs目录,并将压缩包存放到/opt/kafka目录下,创建后的全路径如下所示:
/opt/kafka
/opt/kafka/kafkalogs2、解压缩安装包
tar -zxvf kafka_2.11-2.1.1.tgz3、修...
环境:jdk1.8kafka2.11centos7cd kafka #进入自己创建的kafka目录wget http://mirror.bit.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz #下载安装包tar -zxvf kafka_2.13-2.6.0.tgz #解压单机模式下,启动kafka命令:[root@cat kafka_2.13-2.6.0]# bin/kafka-server-start.sh -daemon config/server.properties #加上 -daemon 让服务在后台运行
参考文档:https://blog.csdn.net/zzq900503/article/details/83348419
安装环境准备
jdk1.8
jdk安装:https://www.cnblogs.com/miamianfighting/p/13965219.html
安装kafka
在官网下载kafka安装包,并解压
http://kafka.apache.org/downloads安装zookeeper服务
方案1:使用kafka自带的kafaka
适用于测试等小型场景或者单点kafka
使用kafka安装包中的脚本启动单节点zookeeper实例
bin/zookeeper-server-start.sh -daemon config/zo...
当前环境:CentOS7、kafka_2.11-2.3.0
1.解压文件tar -xzf kafka_2.12-2.3.0.tgz
cd kafka_2.11-2.3.02.创建log文件夹mkdir log
3.编写当前的server.properties文件cd /config
vi server.properties
1.设置日志文件夹2.设置被访问的路径如果出现不能访问的情况可能就是当前的listeners中设置的路径有错误!
4.开放9092端口让外界访问//开放9092端口
firewall-cmd --zone=public --add-port=9092/tcp --permanent
//重启防火墙
sys...
Centos中用ssh启动kafka集群或zookeeper集群出现错误:
/opt/module/kafka/bin/kafka-run-class.sh: line 258: exec: java: not found
但是不是用ssh单独启动的时候是可以启动的
当我们运行ssh hadoop02 "which java"
也就是说ssh找不着java的路径 ,环境变量没有加载
解决:
ssh执行远程命令或脚本的时候,只会加载个人home文件夹下的.bashrc文件,因此,我们可以在.bashrc文件中添加java的环境变量vim ~/.bashrc添加路径:ex...