Spark在Windows本地读取Hdfs上的文件

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Spark在Windows本地读取Hdfs上的文件，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含914字，纯文字阅读大概需要2分钟。

内容图文

Windows本地上，Spark读取Hdfs上文件：

需要满足的条件：
(1)需要访问hdfs的路径：即可以配置core-site.xml，hdfs-site.xml文件
(2)设置访问hdfs上的用户： System.setProperty(“HADOOP_USER_NAME”,“hdfs”)
（3）Spark程序中的Master设置在本地即：local

条件(1)的core-site.xml文件和hdfs-site.xml文件需要放在项目工程IDEA的resources目录下，如果没有resources目录，那么需要在IDEA上新建一个resources目录，如下图：

代码程序:
package com.mhl.bigdata

import org.apache.spark.{SparkConf, SparkContext}

object Test01 {
def main(args: Array[String]): Unit = {

   //设置访问hdfs的用户
   System.setProperty("HADOOP_USER_NAME","hdfs")
   
   val conf = new SparkConf()
   conf.setAppName(Test01.getClass.getSimpleName)
   conf.setMaster("local")
   conf.set("spark.testing.memory","471859200")

   val sc = new SparkContext(conf)

   val inputPath ="hdfs://mhl/mhl/flume/logdfs"+"/"+"2019-07-09"+"/"+"*"
   val logRDD = sc.textFile(inputPath)
   logRDD.collect().foreach(x=>println(x))

}

}

内容总结

以上是互联网集市为您收集整理的Spark在Windows本地读取Hdfs上的文件全部内容，希望文章能够帮你解决Spark在Windows本地读取Hdfs上的文件所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---