首页 / JAVA / 掌握HDFS的Java API接口访问

掌握HDFS的Java API接口访问

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了掌握HDFS的Java API接口访问，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7489字，纯文字阅读大概需要11分钟。

内容图文

HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， HDFS 提供了两种访问接口：Shell接口和Java API 接口，对HDFS里面的文件进行操作，具体每个Block放在哪台DataNode上面，对于开发者来说是透明的。

1、获取文件系统

 1 /**
 2  * 获取文件系统
 3  * 
 4  * @return FileSystem
 5  */
 6 public static FileSystem getFileSystem() {
 7     //读取配置文件
 8     Configuration conf = new Configuration();
 9     // 文件系统
10     FileSystem fs = null;
11     
12     String hdfsUri = HDFSUri;
13     if(StringUtils.isBlank(hdfsUri)){
14         // 返回默认文件系统  如果在 Hadoop集群下运行，使用此种方法可直接获取默认文件系统
15         try {
16             fs = FileSystem.get(conf);
17         } catch (IOException e) {
18             logger.error("", e);
19         }
20     }else{
21         // 返回指定的文件系统,如果在本地测试，需要使用此种方法获取文件系统
22         try {
23             URI uri = new URI(hdfsUri.trim());
24             fs = FileSystem.get(uri,conf);
25         } catch (URISyntaxException | IOException e) {
26             logger.error("", e);
27         }
28     }
29         
30     return fs;
31 }

2、创建文件目录

 1 /**
 2  * 创建文件目录
 3  * 
 4  * @param path
 5  */
 6 public static void mkdir(String path) {
 7     try {
 8         // 获取文件系统
 9         FileSystem fs = getFileSystem();
10         
11         String hdfsUri = HDFSUri;
12         if(StringUtils.isNotBlank(hdfsUri)){
13             path = hdfsUri + path;
14         }
15         
16         // 创建目录
17         fs.mkdirs(new Path(path));
18         
19         //释放资源
20         fs.close();
21     } catch (IllegalArgumentException | IOException e) {
22         logger.error("", e);
23     }
24 }

3、删除文件或者文件目录

 1 /**
 2  * 删除文件或者文件目录
 3  * 
 4  * @param path
 5  */
 6 public static void rmdir(String path) {
 7     try {
 8         // 返回FileSystem对象
 9         FileSystem fs = getFileSystem();
10         
11         String hdfsUri = HDFSUri;
12         if(StringUtils.isNotBlank(hdfsUri)){
13             path = hdfsUri + path;
14         }
15         
16         // 删除文件或者文件目录  delete(Path f) 此方法已经弃用
17         fs.delete(new Path(path),true);
18         
19         // 释放资源
20         fs.close();
21     } catch (IllegalArgumentException | IOException e) {
22         logger.error("", e);
23     }
24 }

3、根据filter获取目录下的文件

 1 /**
 2  * 根据filter获取目录下的文件
 3  * 
 4  * @param path
 5  * @param pathFilter
 6  * @return String[]
 7  */
 8 public static String[] ListFile(String path,PathFilter pathFilter) {
 9     String[] files = new String[0];
10     
11     try {
12         // 返回FileSystem对象
13         FileSystem fs = getFileSystem();
14         
15         String hdfsUri = HDFSUri;
16         if(StringUtils.isNotBlank(hdfsUri)){
17             path = hdfsUri + path;
18         }
19         
20         FileStatus[] status;
21         if(pathFilter != null){
22             // 根据filter列出目录内容
23             status = fs.listStatus(new Path(path),pathFilter);
24         }else{
25             // 列出目录内容
26             status = fs.listStatus(new Path(path));
27         }
28         
29         // 获取目录下的所有文件路径
30         Path[] listedPaths = FileUtil.stat2Paths(status);
31         // 转换String[]
32         if (listedPaths != null && listedPaths.length > 0){
33             files = new String[listedPaths.length];
34             for (int i = 0; i < files.length; i++){
35                 files[i] = listedPaths[i].toString();
36             }
37         }
38         // 释放资源
39         fs.close();
40     } catch (IllegalArgumentException | IOException e) {
41         logger.error("", e);
42     }
43     
44     return files;
45 }

4、文件上传至 HDFS

 1 /**
 2  * 文件上传至 HDFS
 3  * 
 4  * @param delSrc
 5  * @param overwrite
 6  * @param srcFile
 7  * @param destPath
 8  */
 9 public static void copyFileToHDFS(boolean delSrc, boolean overwrite,String srcFile,String destPath) {
10     // 源文件路径是Linux下的路径，如果在 windows 下测试，需要改写为Windows下的路径，比如D://hadoop/djt/weibo.txt
11     Path srcPath = new Path(srcFile);
12     
13     // 目的路径
14     String hdfsUri = HDFSUri;
15     if(StringUtils.isNotBlank(hdfsUri)){
16         destPath = hdfsUri + destPath;
17     }
18     Path dstPath = new Path(destPath);
19     
20     // 实现文件上传
21     try {
22         // 获取FileSystem对象
23         FileSystem fs = getFileSystem();
24         fs.copyFromLocalFile(srcPath, dstPath);
25         fs.copyFromLocalFile(delSrc,overwrite,srcPath, dstPath);
26         //释放资源
27         fs.close();
28     } catch (IOException e) {
29         logger.error("", e);
30     }
31 }

5、从 HDFS 下载文件

 1 /**
 2  * 从 HDFS 下载文件
 3  * 
 4  * @param srcFile
 5  * @param destPath
 6  */
 7 public static void getFile(String srcFile,String destPath) {
 8     // 源文件路径
 9     String hdfsUri = HDFSUri;
10     if(StringUtils.isNotBlank(hdfsUri)){
11         srcFile = hdfsUri + srcFile;
12     }
13     Path srcPath = new Path(srcFile);
14     
15     // 目的路径是Linux下的路径，如果在 windows 下测试，需要改写为Windows下的路径，比如D://hadoop/djt/
16     Path dstPath = new Path(destPath);
17     
18     try {
19         // 获取FileSystem对象
20         FileSystem fs = getFileSystem();
21         // 下载hdfs上的文件
22         fs.copyToLocalFile(srcPath, dstPath);
23         // 释放资源
24         fs.close();
25     } catch (IOException e) {
26         logger.error("", e);
27     }
28 }

6、获取 HDFS 集群节点信息

 1 /**
 2  * 获取 HDFS 集群节点信息
 3  * 
 4  * @return DatanodeInfo[]
 5  */
 6 public static DatanodeInfo[] getHDFSNodes() {
 7     // 获取所有节点
 8     DatanodeInfo[] dataNodeStats = new DatanodeInfo[0];
 9     
10     try {
11         // 返回FileSystem对象
12         FileSystem fs = getFileSystem();
13         
14         // 获取分布式文件系统
15         DistributedFileSystem hdfs = (DistributedFileSystem)fs;
16         
17         dataNodeStats = hdfs.getDataNodeStats();
18     } catch (IOException e) {
19         logger.error("", e);
20     }
21     return dataNodeStats;
22 }

7、查找某个文件在 HDFS集群的位置

 1 /**
 2  * 查找某个文件在 HDFS集群的位置
 3  * 
 4  * @param filePath
 5  * @return BlockLocation[]
 6  */
 7 public static BlockLocation[] getFileBlockLocations(String filePath) {
 8     // 文件路径
 9     String hdfsUri = HDFSUri;
10     if(StringUtils.isNotBlank(hdfsUri)){
11         filePath = hdfsUri + filePath;
12     }
13     Path path = new Path(filePath);
14     
15     // 文件块位置列表
16     BlockLocation[] blkLocations = new BlockLocation[0];
17     try {
18         // 返回FileSystem对象
19         FileSystem fs = getFileSystem();
20         // 获取文件目录 
21         FileStatus filestatus = fs.getFileStatus(path);
22         //获取文件块位置列表
23         blkLocations = fs.getFileBlockLocations(filestatus, 0, filestatus.getLen());
24     } catch (IOException e) {
25         logger.error("", e);
26     }
27     return blkLocations;
28 }

8、文件重命名

 1 /**
 2  * 文件重命名
 3  * 
 4  * @param srcPath
 5  * @param dstPath
 6  */
 7 public boolean rename(String srcPath, String dstPath){
 8     boolean flag = false;
 9     try    {
10         // 返回FileSystem对象
11         FileSystem fs = getFileSystem();
12         
13         String hdfsUri = HDFSUri;
14         if(StringUtils.isNotBlank(hdfsUri)){
15             srcPath = hdfsUri + srcPath;
16             dstPath = hdfsUri + dstPath;
17         }
18         
19         flag = fs.rename(new Path(srcPath), new Path(dstPath));
20     } catch (IOException e) {
21         logger.error("{} rename to {} error.", srcPath, dstPath);
22     }
23     
24     return flag;
25 }

9、判断目录是否存在

 1 /**
 2  * 判断目录是否存在
 3  * 
 4  * @param srcPath
 5  * @param dstPath
 6  */
 7 public boolean existDir(String filePath, boolean create){
 8     boolean flag = false;
 9     
10     if (StringUtils.isEmpty(filePath)){
11         return flag;
12     }
13     
14     try{
15         Path path = new Path(filePath);
16         // FileSystem对象
17         FileSystem fs = getFileSystem();
18         
19         if (create){
20             if (!fs.exists(path)){
21                 fs.mkdirs(path);
22             }
23         }
24         
25         if (fs.isDirectory(path)){
26             flag = true;
27         }
28     }catch (Exception e){
29         logger.error("", e);
30     }
31     
32     return flag;
33 }

10 查看HDFS文件的最后修改时间

public void testgetModifyTime() throws Exception {
Configuration conf = new Configuration();
FileSystem hdfs = FileSystem.get(conf);
Path dst = new Path(hdfsPath);
FileStatus files[] = hdfs.listStatus(dst);
for (FileStatus file : files) {
System.out.println(file.getPath() + "\t"
+ file.getModificationTime());
System.out.println(file.getPath() + "\t"
+ new Date(file.getModificationTime()));
}

// 查看HDFS文件是否存在
public void testExists() throws Exception {
Configuration conf = new Configuration();
FileSystem hdfs = FileSystem.get(conf);
Path dst = new Path(hdfsPath + "file01.txt");
boolean ok = hdfs.exists(dst);
System.out.println(ok ? "文件存在" : "文件不存在");
}

// 获取HDFS集群上所有节点名称
public void testGetHostName() throws Exception {
Configuration conf = new Configuration();
DistributedFileSystem hdfs = (DistributedFileSystem) FileSystem
.get(conf);
DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();
for (DatanodeInfo dataNode : dataNodeStats) {
System.out.println(dataNode.getHostName() + "\t"
+ dataNode.getName());
}
}

原文：http://www.cnblogs.com/tyzmzlf/p/7304954.html

内容总结

以上是互联网集市为您收集整理的掌握HDFS的Java API接口访问全部内容，希望文章能够帮你解决掌握HDFS的Java API接口访问所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1231585.html

来源：【匿名】

【下一篇】JAVA/JSP学习系列之五

更多 ►

【掌握HDFS的Java API接口访问】教程文章相关的互联网学习教程文章

这是写给我自己和我这种初学者看的.Java作为1个强面向对象语言, 基本上所有东西(成员和方法)都是写在class(类)里面的.但是也存在一种与class平行的东西, 它就是interface , 中文译成接口. 本屌能力有限在这里这能写写Interface的一些语法规则与存在意义.一, 什么是接口Java里的接口, 就是抽象方法和常量值的集合. 这里的定义相当表面, 就如java里的类是成员和方法的集合一样. 作为1个初学者, 可以简单理解为接口就是一种...

接口自动化：HttpClient + TestNG + Java(一) - 接口测试概述+自动化环境搭建【代码】【图】

1.1 接口测试简介1.1.1 什么是接口测试开始学习接口自动化测试之前，我们先要来了解什么是接口，以及什么是接口测试。我们都知道，测试从级别上划分可以分为组件测试集成测试系统测试验收测试其中在集成测试这个阶段，一个最主要的测试活动就是接口测试。在组件测试中，我们对单个组件自身的功能性能等指标进行验证，上升到集成测试级别，我们则进一步去验证组件之间的交互和集成。而组件之间的交互，就是通过‘接口’来达成的。所...

Java之Map接口

Map 集合是用来存储 “键(K)-值(V)”映射对的集合。它是一个接口。它的实现类中，存储“键(K)-值(V)”映射对是通过键来唯一标识，Map 底层的“键（K）”是用Set来存放的。所以自定义的类，存放在Map的实现类中，需要重写hashCode 和 equals 方法。常用的实现类：HashMap，TreeMap，HashTable。HashMap，HashTable，TreeMap的区别：HashMap：1、线程不安全的，不同步的；2、能最多存储一个null键，任意多个null值3、有contain...

JAVA集合框架 - Map接口【代码】【图】

Map接口大致说明(jdk11):整体介绍:一个将键映射到值的(key-value)对象, 键值(key)不能重复, 每个键值只能影射一个对象(一一对应).这个接口取代了Dictionary类，后者是一个完全抽象的类，而不是一个接口。Map接口提供了三个集合视图(Set<K> keySet();Collection<V> values();, Set<Map.Entry<K, V>> entrySet();)，允许将Map的内容视为一组键、一组值或一组键-值映射。映射的顺序被定义为映射集合视图上的迭代器返回元素的顺序。一些...

java集合---Map接口

原文：http://longpo.iteye.com/blog/2204873

Java版微信公共号开发之分组管理接口【代码】

开发者可以使用接口，对公众平台的分组进行查询、创建、修改操作，也可以使用接口在需要时移动用户到某个分组。创建分组一个公众账号，最多支持创建500个分组。接口调用请求说明http请求方式: POST（请使用https协议） https://api.weixin.qq.com/cgi-bin/groups/create?access_token=ACCESS_TOKEN POST数据格式：json POST数据例子：{"group":{"name":"test"}}参数说明参数说明access_token调用接口凭证name分组名字（30个字符以...

Java++：安全|API接口安全性设计

接口的安全性主要围绕 token、timestamp 和 sign 三个机制展开设计，保证接口的数据不会被篡改和重复调用，下面具体来看：Token授权机制：　　用户使用用户名密码登录后服务器给客户端返回一个Token（通常是UUID），并将Token-UserId以键值对的形式存放在缓存服务器中。　　服务端接收到请求后进行Token验证，如果Token不存在，说明请求无效。Token是客户端访问服务端的凭证。时间戳超时机制：　　用户每次请求都带上当前时间的时间...

java基础接口回调的实现

//接口回调理解：先创建好接口，需要使用的时候用匿名内部类实现接口，就叫接口回调，以下是我设计的程序。package callback;import java.util.ArrayList;import java.util.List;import java.util.Scanner;//接口package callback;public interface CallPhone {public void playPhone();}//PhoneNum类package callback;public class PhoneNum {private String name;private Integer num;public PhoneNum() {}public PhoneNum(Strin...

java类的继承，多态，抽象类与接口

知识点梳理: 1,怎样定义自己的类.　　MyStarFrame,MyStarPanel　　类中定义:　　(1)属性(数据),变量.　　(2)方法(函数),行为.　　(3)构造方法(特征,作用,何时被调用,构造方法怎么写).　　2,继承自已经存在的类.(API,自己写的). 　　写继承:　　　　public class A extends B{ 　　　　 /**方法的覆盖,重写　　　　 * 父类中有同名同参的方法. 　　　　 */ 　　　　 public void paint(){ 　　　　　} 　...

Java--comparator接口与Comparable接口的区别

1. Comparator 和 Comparable 相同的地方他们都是java的一个接口, 并且是用来对自定义的class比较大小的, 什么是自定义class: 如 public class Person{ String name; int age }. 当我们有这么一个personList,里面包含了person1, person2, persion3....., 我们用Collections.sort( personList ),是得不到预期的结果的. 这时肯定有人要问, 那为什么可以排序一个字符串list呢: 如 StringList{"hello1" , "hello3" , "hello2"}, Colle...

2017.10.15 解析Java中抽象类和接口的区别

在Java语言中， abstract class 和interface 是支持抽象类定义的两种机制。正是由于这两种机制的存在，才赋予了Java强大的面向对象能力。abstract class和interface之间在对于抽象类定义的支持方面具有很大的相似性，甚至可以相互替换，因此很多开发者在进行抽象类定义时对于abstract class和interface的选择显得比较随意。其实，两者之间还是有很大的区别的，对于它们的选择甚至反映出对于问题领域本质的理解、对于设计意图的理...

Java中泛型接口【代码】【图】

一：泛型接口先给大家普及一个概念(在后面的也会有)，其实在以后的开发中我们开发一个项目最基本的目的是将数据库中的数据显示到客户端或者客户端可以将数据录入数据库实现数据的交互，那么数据库分为关系型数据库(比如mysql)和非关系型数据库(redis)，关系型数据库是由表组成的，一张数据表一.般保存一类信息，那么张数据表在Java中就对应一个简单Java类(vo类),而且我们会定义一个接口来规范操作这张数据表的实现类开发。DEMO:观...

java基础第六天_接口与适配器模式、多态、内部类

[作业1]------------------------------------使用抽象类和接口实现适配器模式设计。涉及的类和接口分别为ButtonListener(接口),其中含有click() / dbclick() / keyUp() / keyDown()等方法。ButtonAdapter(按钮适配器类)，适配器中对非click()方法进行默认实现。Button类中添加addListener(ButtonListener l)方法。答：/*定义一个接口，让接收到值判断做出相应动作，接口接收的值需要一个监视器接收注意问题：a.接口实现全部实现即...

Java学习List接口、Set接口【代码】【图】

Collection中常用的两大子类（List集合、Set集合）List接口1、它是一个元素存取有序的集合。这里的有序不是说集合按照升序降序进行存储，而是说元素怎么存进去，怎么取出来的2、它是一个带有索引的集合，通过索引就可以精确的操作集合中的元素（与数组的索引是一个道理）。3、集合中可以有重复的元素，通过元素的equals方法，来比较是否为重复的元素。List接口的常用子类有：1、ArrayList集合2、LinkedList集合List中常用的方法：...

JAVA - 技术教程分类

Java 教程 Java 简介 Java 开发环境配置 Java 基础语法 Java 对象和类 Java 基本数据类型 Java 变量类型 Java 修饰符 Java 运算符 Java 循环结构 Java 条件语句 Java switch case Java Number & Math 类 Java Character 类 Java String 类 Java StringBuffer Java 数组 Java 日期时间 Java 方法 Java Stream、File、IO Java Scanner 类 Java 异常处理 Java 继承 Java Override/Overload Java 多态 Java 抽象类 Java 封装 Java 接口 Java 枚举 Java 包(package) Java 数据结构 Java 集合框架 Java ArrayList Java LinkedList Java HashSet Java HashMap Java Iterator Java Object Java 泛型 Java 序列化 Java 网络编程 Java 多线程编程 Java Applet 基础 Java 文档注释 Java 实例 Java 8 新特性 Java MySQL 连接 Java 9 新特性 Java 测验 java 全部

JAVA - 最热教程

Java在运行项目时候，点击右键的弹框，...nacos配置中心超时问题：java.net.Conn...Java的设计模式（7）— 生产者-消费者模...基于DOM4j和POI实现的XML文件转换为XLS...如何在Java中创建一些变量类型别名使用java8的Stream统计字符串数组中每一...idea插件篇之java内存分析工具(JProfil...cannot cast 'java.lang.Integer' to '...java – Bootstrap.properties中Spring...Java8利用stream流实现数字排序和中文排...