Hadoop 组件scala，spark部署

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop 组件scala，spark部署，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2449字，纯文字阅读大概需要4分钟。

内容图文

1.安装Scala

#解压改名
[root@master home]# tar -zxvf scala-2.10.4.tgz -C /app/
[root@master app]# mv scala-2.10.4/ scala

#配置Scala环境变量
vi /etc/profile
export SCALA_HOME=/usr/local/software/scala 
export PATH=$PATH:$SCALA_HOME/bin

#输入 scala，进入 shell 界面则表明安装成功
[root@master app]# scala
Welcome to Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_79).
Type in expressions to have them evaluated.
Type :help for more information.
scala> 

2.安装spark

#解压改名
[root@master home]# tar -zxvf spark-2.0.0-bin-hadoop2.6.gz -C /app/
[root@master app]# mv spark-2.0.0-bin-hadoop2.6/ spark

#修改配置文件
[root@master conf]# cp spark-env.sh.template spark-env.sh
[root@master conf]# vim spark-env.sh
//注意自己的主机名
export JAVA_HOME=/app/jdk
export HADOOP_HOME=/app/hadoop
export HADOOP_CONF_DIR=/app/hadoop/etc/hadoop
export SCALA_HOME=/app/scala
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1G

#改为自己的主机名
[root@master conf]# vim slaves

3.启动 | 结果

#进入sbin目录下启动
[root@master sbin]# ./start-all.sh 
starting org.apache.spark.deploy.master.Master, logging to /app/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /app/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out

#jps进程
[root@master sbin]# jps
1987 ResourceManager
1670 DataNode
3036 Master
1835 SecondaryNameNode
3123 Worker
1541 NameNode
3172 Jps
2094 NodeManager

#进入bin目录访问
[root@master bin]# ./spark-shell 

Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
21/03/13 20:17:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/03/13 20:17:19 WARN spark.SparkContext: Use an existing SparkContext, some configuration may not take effect.
Spark context Web UI available at http://192.168.5.128:4040
Spark context available as 'sc' (master = local[*], app id = local-1615637838708).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.0.0
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_79)
Type in expressions to have them evaluated.
Type :help for more information.

scala> print("hello hadoop")
hello hadoop
scala> 

内容总结

以上是互联网集市为您收集整理的Hadoop 组件scala，spark部署全部内容，希望文章能够帮你解决Hadoop 组件scala，spark部署所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---