flink1.10 Linux 集群安装

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了flink1.10 Linux 集群安装，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1637字，纯文字阅读大概需要3分钟。

内容图文

1.官网下载jar包：

https://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz

2.上传jar包并且解压：

 

3.进入/flink-1.10.1/conf/flink-conf.yaml

配置修改以下参数：

　　1）jobmanager.rpc.address: 此处添加master节点的localhost

      其余参数根据自己机器自行配置，我粘贴一下默认值和说明

　　2）jobmanager.heap.size:1024m  --每一个jobmanage可用的内存

　　3)  taskmanager.memory.process.size: 1728m --每一个taskmanager可用的内存

　　4）taskmanager.numberOfTaskSlots:4 --每个机器所能用的CPUs

　　5）io.tmp.dirs:/tmp --用于存放运算过程中的临时目录

4.进入/flink-1.10.1/conf/slaves

　　1）添加自己集群的slaves 例如：

　　　192.168.1.102

　　　192.168.1.103

         192.168.1.104

5.写一个分发脚本将flink分发到各个节点。

======================================================================================

脚本：

#!/bin/bash

if[ $# -lt 1 ] 

then

      echo Not Enough Arguement!

      exit;

fi

#2.遍历集群所有机器

for host in 此粗写你的节点例如（hadoop102 Hadoop103 Hadoop104）

do

　　echo ========================= 　$host    ================================

　　#3.遍历所有目录，挨个发送

      for file in $@

      do

          #4 判断文件是否存在

　　    if [ -e $file ]

          then

                #5.获取父目录

                pdir=$(cd -P ${dirname $file}; pwd)

                fname=${basename $file}

                ssh $host "mkdir -p $pdir"

                rsync -av $spdir/$fname $host:$pdir

           else

　　　　　echo $file does not exists!

          fi

     done

done

======================================================================================

6.在master上面输入启动命令开启集群：

　　bin/start-cluster.sh

7.访问ui界面：localhost:8081

8.关闭集群：

　　stop-cluster.sh

 

内容总结

以上是互联网集市为您收集整理的flink1.10 Linux 集群安装全部内容，希望文章能够帮你解决flink1.10 Linux 集群安装所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---