java系列整理---HDFS上数据保存到Hbase运行
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了java系列整理---HDFS上数据保存到Hbase运行，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8715字，纯文字阅读大概需要13分钟。
内容图文
package com.jsw.kg;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
//Scan类常用方法说明
//指定需要的family或column ，如果没有调用任何addFamily或Column，会返回所有的columns；
// scan.addFamily();
// scan.addColumn();
// scan.setMaxVersions(); //指定最大的版本个数。如果不带任何参数调用setMaxVersions，表示取所有的版本。如果不掉用setMaxVersions，只会取到最新的版本.
// scan.setTimeRange(); //指定最大的时间戳和最小的时间戳，只有在此范围内的cell才能被获取.
// scan.setTimeStamp(); //指定时间戳
// scan.setFilter(); //指定Filter来过滤掉不需要的信息
// scan.setStartRow(); //指定开始的行。如果不调用，则从表头开始；
// scan.setStopRow(); //指定结束的行（不含此行）；
// scan.setBatch(); //指定最多返回的Cell数目。用于防止一行中有过多的数据，导致OutofMemory错误。
//过滤器
//1、FilterList代表一个过滤器列表
//FilterList.Operator.MUST_PASS_ALL -->and
//FilterList.Operator.MUST_PASS_ONE -->or
//eg、FilterList list = new FilterList(FilterList.Operator.MUST_PASS_ONE);
//2、SingleColumnValueFilter
//3、ColumnPrefixFilter用于指定列名前缀值相等
//4、MultipleColumnPrefixFilter和ColumnPrefixFilter行为差不多，但可以指定多个前缀。
//5、QualifierFilter是基于列名的过滤器。
//6、RowFilter
//7、RegexStringComparator是支持正则表达式的比较器。
//8、SubstringComparator用于检测一个子串是否存在于值中，大小写不敏感。
//scan.setTimeStamp(NumberUtils.toLong("1370336286283"));
//scan.setTimeRange(NumberUtils.toLong("1370336286283"), NumberUtils.toLong("1370336337163"));
//scan.setStartRow(Bytes.toBytes("quanzhou"));
//scan.setStopRow(Bytes.toBytes("xiamen"));
//scan.addFamily(Bytes.toBytes("info"));
//scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("id"));
//查询列镞为info，列id值为1的记录
//方法一(单个查询)
// Filter filter = new SingleColumnValueFilter(
// Bytes.toBytes("info"), Bytes.toBytes("id"), CompareOp.EQUAL, Bytes.toBytes("1"));
// scan.setFilter(filter);
//方法二(组合查询)
//FilterList filterList=new FilterList();
//Filter filter = new SingleColumnValueFilter(
// Bytes.toBytes("info"), Bytes.toBytes("id"), CompareOp.EQUAL, Bytes.toBytes("1"));
//filterList.addFilter(filter);
//scan.setFilter(filterList);
public class HbaseUtil {
private Configuration conf = null;
private Connection conn = null;
private Admin admin = null;
private Table table = null;
public void createConf() throws IOException{
// Java客户端使用的配置信息是被映射在一个HBaseConfiguration 实例中.
// HBaseConfiguration有一个工厂方法, HBaseConfiguration.create();
// 运行这个方法的时候，他会去CLASSPATH,下找Hbase-site.xml，读他发现的第一个配置文件的内容。
// (这个方法还会去找hbase-default.xml ; hbase.X.X.X.jar里面也会有一个an hbase-default.xml).
// 不使用任何hbase-site.xml文件直接通过Java代码注入配置信息也是可以的。例如，你可以用编程的方式设置ZooKeeper信息，只要这样做:
//解决异常,可以不用
conf = HBaseConfiguration.create();
// conf.addResource("core-site.xml");
// conf.addResource("hdfs-site.xml");
// conf.addResource("hbase-site.xml");
//设置zk集群地址,这里需要修改windows下的hosts文件
// conf.set("hbase.zookeeper.quorum","master:3000,slave1:3000,slave2:3000");
//建立连接
System.out.println(String.format("hbase.zookeeper.quorum: %s", conf.get("hbase.zookeeper.quorum")));
conn = ConnectionFactory.createConnection(conf);
}
public void createTable() throws IOException{
//获取表管理类
admin = conn.getAdmin();
//定义表
HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("student"));
//定义列族
HColumnDescriptor hColumnDescriptor = new HColumnDescriptor("info");
//将列族添加到表中
hTableDescriptor.addFamily(hColumnDescriptor);
//执行建表操作
admin.createTable(hTableDescriptor);
}
public void put() throws IOException{
//获取表对象
table = conn.getTable(TableName.valueOf("student"));
//创建put对象
Put put = new Put("p1".getBytes());
//添加列
put.addColumn("info".getBytes(), "name".getBytes(), "haha".getBytes());
//向表格中添加put对象
table.put(put);
}
public void get() throws IOException{
//获取表对象
table = conn.getTable(TableName.valueOf("student"));
//用行键实例化get
Get get = new Get("0001".getBytes());
//增加列族名和列名条件
get.addColumn("info".getBytes(), "age".getBytes());
//执行,返回结果
Result result = table.get(get);
//取出结果
String valStr = Bytes.toString(result.getValue("info".getBytes(), "name".getBytes()));
System.out.println(valStr);
}
public void scan() throws IOException{
//获取表对象
table = conn.getTable(TableName.valueOf("student"));
//初始化scan示例
Scan scan = new Scan();
//增加过滤条件
scan.addColumn("info".getBytes(), "name".getBytes());
scan.addColumn("info".getBytes(), "sex".getBytes());
//返回结果
ResultScanner rss = table.getScanner(scan);
//迭代取出结果
for (Result result : rss) {
String valStr = Bytes.toString(result.getValue("info".getBytes(), "name".getBytes()));
String valStr2 = Bytes.toString(result.getValue("info".getBytes(), "sex".getBytes()));
System.out.println(valStr + "\t" + valStr2);
}
}
public void del() throws IOException{
//获取表对象
table = conn.getTable(TableName.valueOf("student"));
//用行键实例化Delete实例
Delete del = new Delete("p1".getBytes());
//执行删除
table.delete(del);
}
public void close() throws IOException{
//关闭连接
if(admin!=null){
admin.close();
}
if(table!=null){
table.close();
}
if(conn!=null){
conn.close();
}
}
public List<List<String>> qurryTableTestBatch(List<String> rowkeyList) throws IOException {
List<Get> getList = new ArrayList<Get>();
String tableName = "student";
Table table = conn.getTable( TableName.valueOf(tableName));// 获取表
for (String rowkey : rowkeyList){
Get get = new Get(Bytes.toBytes(rowkey));
getList.add(get);
}
Result[] results = table.get(getList);
List<List<String>> list = new ArrayList<List<String>>();
for (Result result : results){
List<String> list1 = new ArrayList<String>();
for (org.apache.hadoop.hbase.Cell kv: result.rawCells()) {
String value = Bytes.toString(CellUtil.cloneValue(kv));
// System.out.println(value);
list1.add(value);
}
list.add(list1);
}
System.out.println(list);
return list;
}
public static void main(String[] args) throws Exception {
HbaseUtil app = new HbaseUtil();
app.createConf();
List<String> list = new ArrayList<String>();
list.add("0001");
list.add("0003");
List<List<String>> l = app.qurryTableTestBatch(list);
System.out.println(l);
System.out.println("OK");
}
}
把HDFS上数据保存到Hbase运行报错！！！！
错误如下：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at com.hadoop3.hbaseapi.day03.Demo01_HdfsToHbase.main(Demo01_HdfsToHbase.java:73)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
不加入hbase相关的代码运行mapreduce程序没有任何问题，一旦加入hbase相关的代码，报各种各样和hbase相关的NoClassDefFoundError
错误，原因为:mr程序没有引用到集群上的hbase jar包。
解决办法：
把hbase的jar包加入到hadoop classpath中
在hadoop安装目录下找到hadoop-env.sh文件，
添加 : export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/hadoop/apps/hbase/lib/*
/home/hadoop/apps/hbase 为自己hbase安装路径
不需要重启，重新执行命令hadoop jar mapreducehbase.jar hbase.TxHBase 运行成功
————————————————
版权声明：本文为CSDN博主「GOD_WAR」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/young_0609/article/details/78210010
内容总结
以上是互联网集市为您收集整理的java系列整理---HDFS上数据保存到Hbase运行全部内容，希望文章能够帮你解决java系列整理---HDFS上数据保存到Hbase运行所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。