WIN7+Ubuntu16.04+Kafka1.0.0 1.下载kafka_2.11-1.0.0.tgzhttp://kafka.apache.org/downloads 2.解压到/usr/local/kafka中 3.设置配置文件/etc/profile文件，增加kafka的路径①vi /etc/profileexport KAFKA_HOME=/usr/local/kafka export PATH=$PATH:$KAFKA_HOME/bin②让配置文件立即生效source /etc/profile 4.检查kafka环境是否生效 kafka-server-stop.sh显示No kafka server to stop 5.启动zookeeper（这里使用kafka自带的zooke...
太平洋保险集团“家园项目”大数据平台DSG应用（oracle&kafka）项目背景根据太平洋保险集团的IT建设规划，在2017年年底，需要完成“一个太保，共同的家园”项目（简称家园项目），旨在给客户提供更加便携、全面的服务，通过一个家园平台，就能够完成所有的服务。众所周知，太平洋保险的业务范围非常广泛，囊括了产险、寿险、车险等业务，同时，一个险种又由多个系统共同提供服务。现在要在一个平台上完成这些服务，数据的汇聚、集中...
前一篇中数据源采用的是从一个socket中拿数据，有点属于“旁门左道”，正经的是从kafka等消息队列中拿数据！主要支持的source，由官网得知如下：获取数据的形式包括推送push和拉取pull一、spark streaming整合flume1.push的方式 更推荐的是pull的拉取方式 引入依赖：<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-flume_2.10</artifactId><version>${spark.version}</version></depe...
一、kafka常用命令1.创建topicbin/kafka-topics.sh --create --topic topic_1 --partitions 4 --replication-factor 2 --zookeeper mini1:2181// 如果配置了PATH可以省略相关命令路径，相关命令参数暂不深入，字面意思也可以大概推断。后续给出完整参数参考。2.查看所有topicbin/kafka-topics.sh --list --zookeeper mini1:21813.发送消息bin/kafka-console-producer.sh --broker-list mini1:9092 --topic topic_14.消费消息bin/k...
培训大数据架构开发！从零基础到高级，手把手培训！[技术QQ：2937765541]? ?----------------------------------------------------------------------------------------------------------------------------------课程目录：获取视频资料和培训解答技术支持地址?课程展示(永久免费更新！永久免费培训解答技术支持！)：获取视频资料和培训解答技术支持地址?原文：http://twskyn.iteye.com/blog/2289784
一、安装部署kafka1、集群规划hadoop102 hadoop103 hadoop104zk zk zkkafka kafka kafka2、jar包下载http://kafka.apache.org/downloads.html 3、集群部署1）解压安装包[test@hadoop102 software...
第1章 Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。1.2 消息队列（Message Queue）1.2.1 传统消息队列的应用场景 1.2.2 消息队列的两种模式（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。...
1. Kafka集群的安装准备1.1. 选择安装Kafka的版本由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。其中2.11是推荐版本。1.2. 下载并解压安装包解压文件，删除之前的的安装记录，并重命名tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/ cd /export/servers/ rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka mv kafka_2.11-1.0.0 kafka 2. 查看目录及修改配置文件...
先简单说下安装kafka的流程。。（可配置多个zookeeper，这篇文只说一个zookeeper场景）1.环境配置：jdk1.7+ (LZ用的是jdk1.8)2.资料准备：下载 kafka_2.10-0.10.1.1.tgz ，官网链接为https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.1.1/kafka_2.10-0.10.1.1.tgz3.单机版安装步骤： a.将tgz放入目录： /app/ b.解压：tar -xzvf kafka_2.10-0.10.1.1.tgz c.修改配置：(暂时可不修改) d.启动zookeeper：在ka...
从零基础到高级，一对一培训！[技术QQ：2937765541] ------------------------------------------------------------------------------------------------------------------------------------------- 课程体系：获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广，一直在线为你培训解答！)： 获取视频资料和培训解答技术支持地址 大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeep...
从零基础到高级，一对一技术培训！全程技术指导！[技术QQ：2937765541] https://item.taobao.com/item.htm?id=535950178794 ------------------------------------------------------------------------------------- Java互联网架构师培训！https://item.taobao.com/item.htm?id=536055176638大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Sqoop Flume ZooKeeper Kafka Redis MongoDB 机器学习 云计算 视频教程 Java互...
大数据基础系列之kafka011生产者缓存超时，幂等性和事务实现 浪尖 浪尖聊大数据一，demo及相关类1，基本介绍KafkaProducer是线程安全的，多线程间共享一个实例比共享多个实例更加高效。首先搞一个demoProperties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("acks", "all");props.put("retries", 0);props.put("batch.size", 16384);props.put("linger.ms", 1);props.put("buffer.memor...
文章目录 准备1：zookeeper下载与安装1.下载zookeeper，解压，并配置到系统环境变量中 `~/.bash_profile `中2.home/hadoop/app/zookeeper-3.4.5-cdh5.7.0/conf下拷贝zoo_sample.cfg到`zoo.cfg`，修改文件储存位置，tmp目录下每次重启都会清空，所以新建目录app/tmp/zk3.开启zookeeperI.单节点单Broker部署及使用准备2：kafka下载与安装1.下载并解压kafka_2.11-0.9.0.0.tgz到~/app/下，并添加系统环境变量，生效系统环境变量2.`/hom...
download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gztar zxvf jdk-8u45-linux-x64.tar.gz cd jdk-8u45-linux-x64 sudo vi /etc/profile添加如下内容： export JAVA_HOME=/home/dir/jdk1.8.0_45 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin安装 Python sudo apt-get install python安装 zookeeper wget http://mirror.b...
背景 接着上个文章数据仓库简述，想写一篇数据仓库常用模型的文章，但是自己对数据仓库模型的理解程度和建设架构并没有下面这个技术专家理解的深刻，并且自己去组织语言，可能会有不准确的地方，怕影响大家对数据仓库建模的理解，数据仓库属于一个工程学科，在设计上要体验出工程严谨性，所以这次向大家推荐这篇文章，毕竟IBM在数据仓库和数据集市方面已经做得很成熟了，已经有成型的商业数据仓库组件，这篇文章写的很好，可以让大...