首页 / UBUNTU / Ubuntu环境下nutch集成HBase

Ubuntu环境下nutch集成HBase

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Ubuntu环境下nutch集成HBase，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含994字，纯文字阅读大概需要2分钟。

内容图文

nutch集成HBase

（详见：http://duguyiren3476.iteye.com/blog/2085973 ）

1. 修改nutch的hbase配置 

//将自己的hbase配置copy到nutch配置中
cp /home/hbase/conf/hbase-site.xml /home/nutch/conf/

 

2. 使用hbase0.92.2-jar代替原来的hbase文件（在/home/nutch/runtime/local/lib中）

原因：（我使用的hbase时0.94.25）

nutch自带的gora3.0只能最高支持hbase0.92，默认的是hbase0.90

如果使用默认的hbase0.90操作自己安装的hbase0.94，报错：

java.lang.IllegalArgumentException: Not a host:port pair

 如果直接使用hbase0.94操作自己安装的hbase0.94，报错：

java.lang.NoSuchMethodError:org.apache.hadoop.hbase.HColumnDescriptor.setMaxVersions(I)V

 解决办法：

使用0.92.2hbase的jar文件

 

3. 抓取

　　（1）设置抓取地址

cd runtime/local/  
mkdir -p urls  
sudo gedit urls/seed.txt

 在seed中填入你要抓取的地址：比如：http://www.apache.org/

　　（2）将urls放到hdfs系统中

hadoop fs -copyFromLocal urls /home/hadoop/urls

 　　（3）运行nutch，并把结果放到hbase

nutch inject /home/hadoop/urls

 　　（4）查看hbase

hbase shell

//进入shell后
list

 如果出现 “webpage” 则成功。

　　（5）

nutch  generate -topN 3  
nutch fetch -all  
nutch parse -all  
nutch updatedb

 　　（6）进入hbase查询

 

原文：http://www.cnblogs.com/xxx0624/p/4176199.html

内容总结

以上是互联网集市为您收集整理的Ubuntu环境下nutch集成HBase全部内容，希望文章能够帮你解决Ubuntu环境下nutch集成HBase所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1294528.html

来源：【匿名】