本地eclipse idea 写的Hadoop的API和 spark程序不能访问云服务器中的数据

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了本地eclipse idea 写的Hadoop的API和 spark程序不能访问云服务器中的数据，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1011字，纯文字阅读大概需要2分钟。

内容图文

外网ip不能访问云服务器中的hdfs：直接在本地电脑eclipse上跑hadoop的API会出现，

如下bug：这是因为在hadoop内部是通过内网ip地址访问的。所以你的公网ip地址在这个不起作用！！！

 

修改你云服务器的hdfs-site.xml文件：

添加如下：（黄色配置一定要加）

<property>
　　<name>dfs.client.use.datanode.hostname</name>
　　<value>true</value>
</property>
<property>
　　<name>dfs.datanode.use.datanode.hostname</name>
　　<value>true</value>
</property>
<property>
　　<name>dfs.permissions</name>
　　<value>false</value>
</property>

在编写hadoop API的时候。如果改了这些配置还是不行的话，就在代码中加上一句conf.set(“dfs.client.use.datanode.hostname”,”true”);

 

还有如果在idea中使用hdfs文件也会报错。同样的问题。出现入下bug

 

 

这个我直接在代码中设置也有问题。没起作用。

唯一的解决方案就是将配置hdfs-site.xml放入resource中，就能用了：

个人纳闷的地方就是，为什么我云服务器中明明加了这些配置，为什么跑代码的时候就没用用起来了？？？天坑！！！

云服务器要是像本地虚拟机那样方便就好了。

 

内容总结

以上是互联网集市为您收集整理的本地eclipse idea 写的Hadoop的API和 spark程序不能访问云服务器中的数据全部内容，希望文章能够帮你解决本地eclipse idea 写的Hadoop的API和 spark程序不能访问云服务器中的数据所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---