使用Java对Hbase操作总结及示例代码

前面已经给大家讲解过如何使用Hbase建表,以及基本的操作和一些常用shell命令,今天就给大家介绍下如何使用java对Hbase进行各种操作。
没印象的话可以再去浏览下:
Hbase入门教程,shell命令大全讲解

Java操作Hbase主要方法:

1.Configuration
在使用Java API时,Client端需要知道HBase的配置环境,如存储地址,zookeeper等信息。
这些信息通过Configuration对象来封装,可通过如下代码构建该对象:

Configuration config = HBaseConfiguration.create();

在调用HBaseConfiguration.create()方法时,HBase首先会在classpath下查找hbase-site.xml文件,将里面的信息解析出来封装到Configuration对象中,如果hbase-site.xml文件不存在,则使用默认的hbase-core.xml文件。

2.HBaseAdmin
HBaseAdmin用于创建数据库表格,并管理表格的元数据信息,通过如下方法构建:
HBaseAdmin admin=new HBaseAdmin(config);

3.HTableDescriptor
在HTableDescriptor中,建立了一个表结构,HTableDescriptor封装表格对象,对表格的增删改查操作主要通过它来完成,构造方法如下:
HTableDescriptor table = new HTableDescriptor(TableName.valueOf(“表名”));

4.addFamily
addFamily用于建立表下的列簇,并存放到表结构,方法如下:
HColumnDescriptor base = new HColumnDescriptor(“列簇名”);
table.addFamily(base);

代码如下:
首先建一个maven工程,导入依赖包导pom.xml

 <dependency>
 <groupId>org.apache.hbase</groupId>
 <artifactId>hbase-client</artifactId>
 <version>1.2.0</version>
 </dependency>
 <dependency>
 <groupId>org.apache.hbase</groupId>
 <artifactId>hbase-common</artifactId>
 <version>1.2.0</version>
 </dependency>
 <dependency>
 <groupId>org.apache.hbase</groupId>
 <artifactId>hbase-server</artifactId>
 <version>1.2.0</version>
 </dependency

1、创建表操作

public class HBaseClient {
 public void createTable() throws IOException {
 // 1. 创建配置
 Configuration conf = HBaseConfiguration.create();
 conf.set("hbase.zookeeper.quorum","ip1");
  //hbase主默认端口是60000
 conf.set("hbase.master","ip1:60000");
 //zookeeper客户端的端口号2181
 conf.set("hbase.zookeeper.property.clientPort","2181");
 // 2. 创建连接
 Connection conn = ConnectionFactory.createConnection(conf);
 //3.获得一个建表、删表的对象hbaseAdmin()是继承admin()
 Admin admin = conn.getAdmin();
 // 4. 创建表的描述信息
 HTableDescriptor student = new HTableDescriptor(TableName.valueOf("表名"));
 // 5. 添加列簇
 student.addFamily(new HColumnDescriptor("列簇名1"));
 student.addFamily(new HColumnDescriptor("列簇名2"));
 // 6. 调用API进行建表操作
 admin.createTable(student);
 }

}

2、判断表是否存在

public void isTableExists() throws IOException {
 // 1. 创建配置
 Configuration conf = HBaseConfiguration.create();
 conf.set("hbase.zookeeper.quorum","ip1");
 conf.set("hbase.zookeeper.property.clientPort","2181");
 // 2. 创建连接
 Connection conn = ConnectionFactory.createConnection(conf);
 // 3. 创建admin
 Admin admin = conn.getAdmin();
 // 4. 调用API进行判断表是否存在
 System.out.println(admin.tableExists(TableName.valueOf("表名")));
 }

3、向表中插入数据

public void putData2Table() throws IOException {
 // 1. 创建配置
 Configuration conf = HBaseConfiguration.create();
 conf.set("hbase.zookeeper.quorum","ip1");
 conf.set("hbase.zookeeper.property.clientPort","2181");
 // 2. 创建连接
 Connection conn = ConnectionFactory.createConnection(conf);
 // 3. 创建Table类
 Table student = conn.getTable(TableName.valueOf("表名"));
 // 4. 创建Put类
 Put put = new Put(Bytes.toBytes("1001"));
 // 5. 向Put中添加 列簇,列名,值 注意:需要转化成字节数组
 put.addColumn(Bytes.toBytes("列簇1"),Bytes.toBytes("列1"),Bytes.toBytes("zhangsan"));
 put.addColumn(Bytes.toBytes("列簇1"),Bytes.toBytes("列2"),Bytes.toBytes("female"));
 put.addColumn(Bytes.toBytes("列簇2"),Bytes.toBytes("列3"),Bytes.toBytes("math"));
 put.addColumn(Bytes.toBytes("列簇2"),Bytes.toBytes("列4"),Bytes.toBytes("89"));
 // 6.调用API进行插入数据
 student.put(put);
 }

4、查看一条数据

public void getDataFromTable() throws IOException {
 // 1. 创建配置
 Configuration conf = HBaseConfiguration.create();
 conf.set("hbase.zookeeper.quorum","ip1");
 conf.set("hbase.zookeeper.property.clientPort","2181");
 // 2. 创建连接
 Connection conn = ConnectionFactory.createConnection(conf);
 // 3. 创建Table类
 Table student = conn.getTable(TableName.valueOf("表名"));
 // 4. 创建 Get 类
 Get get = new Get(Bytes.toBytes("1001"));
 // 5.调用API进行获取数据
 Result result = student.get(get);
 // 6. 将返回的结果进行遍历输出
 Cell[] cells = result.rawCells();
 for (Cell cell : cells) {
  System.out.println("rowkey :"+Bytes.toString(CellUtil.cloneRow(cell)));
  System.out.println("列簇 :"+Bytes.toString(CellUtil.cloneFamily(cell)));
  System.out.println("列名 :"+Bytes.toString(CellUtil.cloneQualifier(cell)));
  System.out.println("值 :"+Bytes.toString(CellUtil.cloneValue(cell)));
  System.out.println("----------------");
 }
 }

5、删除表操作

public void dropTable() throws IOException {
 // 1. 创建配置
 Configuration conf = HBaseConfiguration.create();
 conf.set("hbase.zookeeper.quorum","ip1");
 conf.set("hbase.zookeeper.property.clientPort","2181");
 // 2. 创建连接
 Connection conn = ConnectionFactory.createConnection(conf);
 // 3. 创建admin
 Admin admin = conn.getAdmin();
 // 4. 调用API禁用表
 admin.disableTable(TableName.valueOf("表名"));
 // 5. 调用API删除表
 admin.deleteTable(TableName.valueOf("表名"));
 }
}

6、删除hbase中的table里面的rowkey

public static void deleteRow(String tableName,String rowKey) throws Exception{
 HTable hTable = new HTable(configuration,tableName);
 Delete delete = new Delete(rowKey.getBytes());
 List<Delete> list = new ArrayList<Delete>();
 list.add(delete);
 hTable.delete(list);
 } 

7、查询row = rowKey的数据

public static void getRow(String tableName,String rowKey) throws Exception{
 HTable hTable = new HTable(configuration, tableName);
 Get get = new Get(rowKey.getBytes());
 Result result = hTable.get(get);
 for(KeyValue value:result.raw()){
  System.out.println("cf:"+new String(value.getFamily())+new String(value.getQualifier())+"="+new String(value.getValue()));
 }
 }

8、查询rowkey在startRow和endRow之间的数据,及rowkey的范围查询
Put、Delete与Get对象都是Row的子类,从该继承关系中我们就可以了解到Get、Delete与Pu对象本身就只能进行单行的操作,
HBase客户端还提供了一套能够进行全表扫描的API,方便用户能够快速对整张表进行扫描,以获取想要的结果—scan:

 public static void getBetweenRow(String tableName,String startRow,String stopRow) throws Exception{
 HTable table = new HTable(configuration, tableName);
 Scan scan = new Scan();
 scan.addColumn("cf1".getBytes(), "colum1".getBytes());
 scan.addColumn("cf1".getBytes(), "colum2".getBytes());
 scan.addColumn("cf1".getBytes(), "colum3".getBytes());

	scan.setStartRow(startRow.getBytes());
	scan.setStopRow(stopRow.getBytes());

	ResultScanner scanner = table.getScanner(scan);

	for(Result result:scanner){
	 for(KeyValue value:result.raw()){
	  System.out.println("cf:"+new String(value.getFamily())+new String(value.getQualifier())+"="+new String(value.getValue()));
	 }
	}
}		 

9、批量写入

public <T> void puts(String tableName, Map<String, Object> items) {
 if (items == null || items.isEmpty()) {
  LOG.error("[HBase] Adding null/empty item map!");
  return;
 }
 int maxSize = 10000;
 Table table = null;
 try {
  table = con.getTable(TableName.valueOf(tableName));
  int eachSize = Math.min(maxSize, items.size());
  List<Put> puts = new ArrayList<Put>(eachSize);
  int handled = 0;

  for (Entry<String, Object> entry : items.entrySet()) {
  String ultimateRowKey = getHashedID(entry.getKey());
  Object value = entry.getValue();

  if (ultimateRowKey == null || ultimateRowKey.isEmpty()) {
   LOG.error("[HBase] Adding null/empty hashed key! Original key is " + entry.getKey());
   handled++;
   continue;
  }

		Put put = new Put(Bytes.toBytes(ultimateRowKey));
  put.addColumn(Bytes.toBytes(familyName1), Bytes.toBytes("ab"), Bytes.toBytes(value .getAb()));
  put.addColumn(Bytes.toBytes(familyName1), Bytes.toBytes("dt"), Bytes.toBytes(value .getDt()));
  put.addColumn(Bytes.toBytes(familyName1), Bytes.toBytes("hb"), Bytes.toBytes(value .getHb()));

  Gson gson = new Gson();
  String valuestr = gson.toJson(value);
  put.addColumn(Bytes.toBytes(familyName2), Bytes.toBytes("js"), Bytes.toBytes(valuestr));
  puts.add(put);
  handled++;

		// 每隔10000,写一次
  if (handled == eachSize) {
   LOG.info("[HBase] Adding " + eachSize + "rows!");
   table.put(puts);
   puts = new ArrayList<Put>(eachSize);
  }
  }
  if (puts.size() > 0)
  table.put(puts);
 } catch (IOException e) {
 	LOG.error("[HBase] Error while putting data " + e.getMessage());
 } finally {
  try {
   if (table != null)
   table.close();
  } catch (IOException e) {
  LOG.error("[HBase] Error while closing table " + e.getMessage());
  }

	}
}

到此这篇关于使用Java对Hbase操作总结及示例代码的文章就介绍到这了,更多相关Java操作hbase总结内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

时间: 2020-07-22

hbase访问方式之java api

Hbase的访问方式 1.Native Java API:最常规和高效的访问方式: 2.HBase Shell:HBase的命令行工具,最简单的接口,适合HBase管理使用: 3.Thrift Gateway:利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据: 4.REST Gateway:支持REST 风格的Http API访问HBase, 解除了语言限制: 5.MapReduce:直接使用MapReduce作业处理Hbase数据

HDFS的Java API的访问方式实例代码

本文研究的主要是HDFS的Java API的访问方式,具体代码如下所示,有详细注释. 最近的节奏有点儿快,等有空的时候把这个封装一下 实现代码 要导入的包: import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation

Java API方式调用Kafka各种协议的方法

众所周知,Kafka自己实现了一套二进制协议(binary protocol)用于各种功能的实现,比如发送消息,获取消息,提交位移以及创建topic等.具体协议规范参见:Kafka协议  这套协议的具体使用流程为: 1.客户端创建对应协议的请求 2.客户端发送请求给对应的broker 3.broker处理请求,并发送response给客户端 虽然Kafka提供的大量的脚本工具用于各种功能的实现,但很多时候我们还是希望可以把某些功能以编程的方式嵌入到另一个系统中.这时使用Java API的方式就显

使用Android studio3.6的java api方式调用opencv

基本环境: Android studio3.6 NDK:r15c(尽量使用该版本) Opencv3.4.1 android sdk 操作: (1)新建工程,选择Empty Activity,工程名为op (2)File->New->Import Module,然后选择自己的java-opencv的相对应路径,比如,D:\Android\OpenCV-android-sdk\sdk\java (3)修改openCVlibrary341下面的build.gradle中的,compileSdkVer

5个Java API使用技巧

本文介绍了一些关于Java API安全和性能方面的简单易用的技巧,其中包括保证API Key安全和开发Web Service方面中在框架方面选择的一些建议. 程序员都喜欢使用API!例如为app应用构建API或作为微服务架构体系的一部分.当然,使用API的前提是能让你的工作变得更轻松.为了简化开发和提高工作效率所作出的努力,有时也意味着需要寻找新的类库或者过程(或者减少过程).对于很多开发团队来说,对于其APP和API进行管理认证和访问控制要耗费很多的时间,因此我们需想分享一些技巧,它们能节约你

简单学习Java API 设计实践

前言 了解在设计 Java API 时应该运用的一些 API 设计实践.这些实践通常很有用,而且可确保 API 能在诸如 OSGi 和 Java Platform Module System (JPMS) 之类的模块化环境中得到正确使用.有些实践是规定性的,有些则是禁止性的.当然,其他良好的 API 设计实践也同样适用. OSGi 环境提供了一个模块化运行时,使用 Java 类加载器概念来强制实施类型可见性封装.每个模块都将有自己的类加载器,该加载器将连接到其他模块的类加载器,以共享导出的包并使

Java API学习教程之正则表达式详解

前言 正则表达式是什么应该不用过多介绍,每位程序员应该都知道,正则表达式描述的是一种规则,符合这种限定规则的字符串我们认为它某种满足条件的,是我们所需的.在正则表达式中,主要有两种字符,一种描述的是普通的字符,另一种描述的是元字符.其中元字符是整个正则表达式的核心,并由它完成规则的制定工作. 本篇文章主要从Java这门程序设计语言的角度理解正则表达式的应用,主要涉及以下内容: •基本正则表达式的理论基础 •Java中用于正则表达式匹配的类 •几种常用的正则表达式使用实例 一.正则表达式的理论基础

第八节--访问方式

/* +-------------------------------------------------------------------------------+ | = 本文为Haohappy读<<Core PHP Programming>>  | = 中Classes and Objects一章的笔记  | = 翻译为主+个人心得  | = 为避免可能发生的不必要的麻烦请勿转载,谢谢  | = 欢迎批评指正,希望和所有PHP爱好者共同进步!  | = PHP5研究中心: 

第八节 访问方式 [8]

PHP5的访问方式允许限制对类成员的访问. 这是在PHP5中新增的功能,但在许多面向对象语言中都早已存在. 有了访问方式,才能开发一个可靠的面向对象应用程序,并且构建可重用的面向对象类库. 像C++和Java一样,PHP有三种访问方式:public,private和protected. 对于一个类成员的访问方式,可以是其中之一. 如果你没有指明访问方式,默认地访问方式为public. 你也可以为静态成员指明一种访问方式,将访问方式放在static关键字之前(如public static). Pu

java api返回值的标准化详解

api返回值的标准化 例如 {"status":200,"message":"操作成功","data":"{\"id\":1,\"name\":\"张三\"}"} 封装返回对象 对象被封装在base.util.ResponseUtils类型下,返回值是标准的ResponseEntity对象,返回体进行了二次封装,主要有status,messsage