大数据平台架构（flume＋kafka＋hbase＋ELK+storm+redis+mysql）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了大数据平台架构（flume＋kafka＋hbase＋ELK+storm+redis+mysql），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1932字，纯文字阅读大概需要3分钟。

内容图文

download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz tar zxvf jdk-8u45-linux-x64.tar.gz cd jdk-8u45-linux-x64 sudo vi /etc/profile 添加如下内容： export JAVA_HOME=/home/dir/jdk1.8.0_45 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

安装 Python 

sudo apt-get install python

安装 zookeeper

wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

tar -xzvf zookeeper-3.4.6.tar.gz

chown -R root:root zookeeper-3.4.6

cd zookeeper-3.4.6

cp conf/zoo_sample.cfg conf/zoo.cfg

sudo vi /etc/profile
添加如下内容：
export ZOOKEEPER_HOME=/home/dir/Downloads/zookeeper-3.4.6
export PATH=$ZOOKEEPER_HOME/bin:$PATH

View Code

安装storm

wget http://www.apache.org/dyn/closer.cgi/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz
tar zxvf apache-storm-0.9.5.tar.gz
cd apache-storm-0.9.5

sudo vi /etc/profile
添加如下内容：
export STORM_HOME=/home/dir/Downloads/apache-storm-0.9.5
export PATH=$STORM_HOME/bin:$PATH

使环境变量生效

 source /etc/profile

修改storm配置

vi conf/storm.yaml
修改如下：
storm.zookeeper.servers:
     - "127.0.0.1"
#     - "server2"
storm.zookeeper.port: 2181      //zookeeper端口默认就是 2181

nimbus.host: "127.0.0.1"
# 
# 

storm.local.dir: "/home/dir/storm"
ui.port: 8088

启动storm

先要启动 zookeeper

zkServer.sh start

启动 nimbus
storm nimbus >/dev/null 2>&1 &
启动 supervisor
storm supervisor >/dev/null 2>&1 &
启动 ui
storm ui >/dev/null 2>&1 &

jps 命令可以看到
29929 nimbus
17754 core
20714 Jps
30222 supervisor
ui 启动后 可以在浏览器 查看结果
localhost:8088/index.html

View Code

运行 wordcount example

cd examples/storm-starter
提交任务
storm jar storm-starter-topologies-0.9.5.jar storm.starter.WordCountTopology wordcountTop

杀掉topology命令
storm kill wordcountTop

 

大数据平台架构（flume＋kafka＋hbase＋ELK+storm+redis+mysql）

标签：

本文系统来源：http://www.cnblogs.com/super-d2/p/5663044.html

内容总结

以上是互联网集市为您收集整理的大数据平台架构（flume＋kafka＋hbase＋ELK+storm+redis+mysql）全部内容，希望文章能够帮你解决大数据平台架构（flume＋kafka＋hbase＋ELK+storm+redis+mysql）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---