一、需求需要做实时数据接入的接口、数据最终要写入库，要做到高并发，数据的完整，不丢失数据。二、技术选型1.因为只是做简单的接口，不需要复杂功能，所以决定用flask这个简单的python框架(因为做运维的作者只会python所以只能在python框架里找)；2.要做到数据的实时性，考虑到数据落地入库可能io会延时比较大，所以决定数据通过接口先写入消息队列中间件kafka（为什么用kafka因为kafka数据是顺序写文件，效率还可以，主要是的写...
1. kafka 容器无法启动过程描述： docker ps -a 看到 Exited docker logs a87d9cd2a8ac 查看日志： 发现是内存不够解决方案： 修改 kafka的JVM配置 KAFKA_HEAP_OPTS（我用的阿里云内存是2G，设置成如下值） 成功启动。 原文：https://www.cnblogs.com/3teeth/p/9329289.html
环境准备kafka依赖zookeeper，所以搭建kafka需要先配置zookeeper。网格信息如下：zookeeper192.168.56.101:2181kafka1192.168.56.101:9092kafka2192.168.56.101:9093kafka3192.168.56.101:9094 开始搭建1、安装 docker-composecurl -L http://mirror.azure.cn/docker-toolbox/linux/compose/1.25.4/docker-compose-Linux-x86_64 -o /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-compose2、创建 docker-compo...
写在最前前几天给大家推荐并分享了一波Java开发必读书籍清单受到了很多老铁的认可与喜爱。很多老铁也都找我领取到了这些书籍的电子版，在此感谢各位老铁的认可。今天再推荐几本Java开发进阶必读书籍清单并分享电子版，领取方式和上次一样转发+关注，然后加我VX【tkzl6666】即可获得免费领取方式。一、《深入理解Kafka：核心设计与实践原理》内容简介本书从Kafka的基本概念入手，主要从生产端、消费端、服务端等3个方面进行全面的陈...
Docker搭建Kafka(单点，含：zookeeper、kafka-manager)下载相关容器$ docker pull wurstmeister/zookeeper $ docker pull wurstmeister/kafka $ docker pull sheepkiller/kafka-manager 运行相关容器启动zookeeper$ docker run -d --name zookeeper --publish 2181:2181 \ -v /etc/localtime:/etc/localtime --restart=always wurstmeister/zookeeper 启动kafka$ docker run -d --name kafka --publish 9082:9092 \ --link zookeep...
一、安装Kafka 1、安装docker：curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 2、安装docker-compose：yum install docker-compose 3、使用docker-compose.yml安装启动Kafka： （1）先启动docker服务：systemctl start docker （2）安装Kafka及后台启动docker：docker-compose -f docker-compose.yml up -d 如果下载过慢则设置阿里镜像并且重启docker服务：yum-config-manager --add-repo http://mirrors...
首先docker搭建kafka环境是需要有zookeeper的, 所以这里需要先搭建zookeeper环境 通过dockerfile创建zookeeper 创建一个文件夹, 里面创建出kafka子文件夹和zookeeper子文件夹, 然后在zookeeper文件夹中创建一个Dockerfile文件, 文件内容如下 FROM wurstmeister/zookeeper:3.4.6MAINTAINER wirte the zookeeper docker file在通过dockerfile生成zookeeper之前, 需要修改一下docker的镜像加载位置, 否则的话镜像拉取速度会很慢. 访问...
1、下载zookeeper docker pull wurstmeister/zookeeper2、下载kafka docker pull wurstmeister/kafka:2.11-0.11.0.33、启动zookeeper docker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeper 报错： docker: Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449: container i...
一.镜像拉取 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka二.定义docker-compose.yml version: '3' services:zookeeper:image: wurstmeister/zookeeperports:- "2181:2181"kafka:image: wurstmeister/kafkadepends_on: [ zookeeper ]ports:- "9092:9092"environment:KAFKA_ADVERTISED_HOST_NAME: 8.141.48.159KAFKA_CREATE_TOPICS: "test:1:1"KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181volumes:- /data/prod...
docker安装kafka #zookeeper镜像 docker pull wurstmeister/zookeeper #kafka镜像 docker pull wurstmeister/kafka#安装zookeeper容器 docker run -di --name=zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime --restart=always wurstmeister/zookeeper#安装kafka容器 docker run -di --name=kafka -p 9092:9092 --restart=always -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.200.129:2181 -e KAFKA_ADVER...