ubuntu1804搭建docker版kafka2.6.0
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了ubuntu1804搭建docker版kafka2.6.0，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3844字，纯文字阅读大概需要6分钟。
内容图文
首先docker搭建kafka环境是需要有zookeeper的, 所以这里需要先搭建zookeeper环境
通过dockerfile创建zookeeper
创建一个文件夹, 里面创建出kafka子文件夹和zookeeper子文件夹, 然后在zookeeper文件夹中创建一个Dockerfile文件, 文件内容如下
FROM wurstmeister/zookeeper:3.4.6
MAINTAINER wirte the zookeeper docker file
在通过dockerfile生成zookeeper之前, 需要修改一下docker的镜像加载位置, 否则的话镜像拉取速度会很慢.
访问阿里云网站, 通过支付宝登录即可
https://cr.console.aliyun.com
找到镜像加速器 选择Ubuntu系统, 此时就会生成出一个对应的加速地址
将地址复制, 在ubuntu中编辑daemon.json文件, 位置在`/etc/docker/daemon.json
如果文件不存在, 就手动创建一下, 注意名称不要出现错误
文件内容将刚才的地址填入, 格式如下
{
"registry-mirrors": ["https://youraddr.mirror.aliyuncs.com"]
}
然后保存退出
重新加载daemon配置文件, 然后重启docker
systemctl daemon-reload
systemctl restart docker
此时docker拉取镜像的速度就会提升
通过dockerfile文件拉取zookeeper镜像
cd zookeeper
docker build -t zookeeper:3.4.6 Dockerfile .
等待镜像拉取完毕
查看镜像文件
docker images
启动zookeeper
docker run -d --name zookeeper -p 2181:2181 -t zookeeper:3.4.6
查看docker容器
docker ps -a
进入kafka文件夹, 编辑kafka的Dockerfile文件
FROM wurstmeister/kafka:2.13-2.6.0
MAINTAINER wirte the kafka docker file
ENV KAFKA_VERSION "2.13-2.6.0"
RUN mkdir -p /data/kafka/logs && mkdir -p /data/zookeeper/logs && mkdir -p /data/zookeeper/data
RUN sed -i '/^dataDir=/c dataDir=/data/zookeeper/data' /opt/kafka_$KAFKA_VERSION/config/zookeeper.properties
RUN sed -i '/^dataDir/a dataLogDir=/data/zookeeper/logs' /opt/kafka_$KAFKA_VERSION/config/zookeeper.properties
后面的三条RUN命令, 是配置镜像的内容
第一个是创建logs目录和data目录
第二个是将数据存储目录设置到指定文件夹
第三个是将日志存储目录设置到指定文件夹
以便后期启动时, 将数据和日志映射到ubuntu主机上, docker容器重启时不会丢失数据
执行dockerfile文件
docker build -t kafka:2.6.0 Dockerfile .
启动kafka
sudo rm -rf /data/kafka/logs/meta.properties && docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.1.79 --env KAFKA_ADVERTISED_PORT=9092 --env KAFKA_LOG_DIRS=/data/kafka/logs --volume /etc/localtime:/etc/localtime --volume /data/kafka:/data/kafka --volume /data/zookeeper:/data/zookeeper kafka:2.6.0
这里没用代码块显示, 是为了看得更直观
最后解释一下命令开头的那个删除文件的作用
-d 参数是让docker在后台运行
– name参数是也容器起个名
–publish 是将docker中的端口号与ubuntu主机端口做一个映射
–env参数是启动时的配置文件, 修改后的内容在kafka容器中的server.properties文件中可以看到
–volume是docker容器映射镜像文件夹和主机文件夹的命令
因为zookeepr也是通过容器启动的, 所以每次启动时他的id都是不一样的, 而kafka启动会去连接zookeeper, kafka有一个配置文件, 在里面记录着zookeeper的id, 但是每次zookeeper重启, id会变化, 所以这个记录zookeeper id的文件, 需要在kafka启动之前删除, 让kafka去重新寻找zookeeper进行连接, 这就是命令开头位置的 删除meta.properites文件的作用
启动之后可以进入kafka容器中进行查看
首先通过命令获取kafka容器id
docker ps -a
查看结果如下
anx@ubuntu-server:~$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d8821e8c1ed7 postgres:alpine "docker-entrypoint.s…" 46 hours ago Up 46 hours 0.0.0.0:5432->5432/tcp mypostgres
1998ec9ef5d5 kafka:2.6.0 "start-kafka.sh" 46 hours ago Up 46 hours 0.0.0.0:9092->9092/tcp kafka
b2c5218c06a0 zookeeper:3.4.6 "/bin/sh -c '/usr/sb…" 46 hours ago Up 46 hours 22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2181->2181/tcp zookeeper
其中CONTAINER ID字段的值就是容器id
docker exec -it 1998ec9ef5d5 /bin/bash
进入之后通过kafka的一些命令就可以操作kafka, 例如通过控制台向kafka发送消息, 或者在控制台监听kafka某个topic的消息内容, 显示出来等等
内容总结
以上是互联网集市为您收集整理的ubuntu1804搭建docker版kafka2.6.0全部内容，希望文章能够帮你解决ubuntu1804搭建docker版kafka2.6.0所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。