MongoDB+Hadoop运行环境搭建
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了MongoDB+Hadoop运行环境搭建,小编现在分享给大家,供广大互联网技能从业者学习和参考。文章包含1694字,纯文字阅读大概需要3分钟。
内容图文
首先要下载mongo-hadoop adapter git clone https://github.com/mongodb/mongo-hadoop.git git checkout release-1.0 然后进入mongo-hadoop目录,找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示: hadoopRelease in ThisBuild := "0.20" 然后运
首先要下载mongo-hadoop adapter
git clone https://github.com/mongodb/mongo-hadoop.git
git checkout release-1.0
然后进入mongo-hadoop目录,找到build.sbt将 hadoopRelease in ThisBuild 修改成如下所示:
hadoopRelease in ThisBuild := "0.20"
然后运行 ./sbt package(关于sbt https://github.com/harrah/xsbt/wiki)
运行时需要翻墙才行。
运行结束之后会再core/target目录下生成一个jar文件mongo-hadoop-core_0.20.205.0-1.0.1.jar,香港服务器,然后下载mongodb的驱动包。
然后修改mongo-treasury_yield.xml文件中mongodb的url和存放collection
mongo.input.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.in
mongo.output.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.out
然后修改TreasuryYieldXMLConfig.java如下:
Configuration.addDefaultResource( "resources/mongo-treasury_yield.xml");
Configuration.addDefaultResource( "resources/mongo-defaults.xml" );
后将项目打包成jar文件。
运行 hadoop jar treasury.jar com.mongodb.hadoop.treasury.TreasuryXMLConfig 即可运行hadoop程序。运行结果如下图:mongodb中的数据。
内容总结
以上是互联网集市为您收集整理的MongoDB+Hadoop运行环境搭建全部内容,希望文章能够帮你解决MongoDB+Hadoop运行环境搭建所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错,欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 gblab@vip.qq.com 举报,一经查实,本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。