Hadoop文件系统详解-----（一）
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了Hadoop文件系统详解-----（一），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1419字，纯文字阅读大概需要3分钟。
内容图文
Hadoop 有一个抽象的文件系统概念， HDFS 只是其中的一个实现。 Java 抽象类 org.apache.hadoop.fs.FileSystem 展示了 Hadoop 的一个文件系统，而且有几个具体实现，如表 3-1 所示。
|
文件系统 |
URI |
Java 实
现
(
全部在
|
描述 |
|
Local |
file |
fs.LocalFileSystem |
针对有客户端校验和 的本地连接磁盘使用 的文件系统。针对没 有校验和的本 地文件系统使用 RawLocalFileSystem 。 详情参见第 4 章 |
|
HDFS |
hdfs |
hdfs.Distributed- FileSystem |
Hadoop 的分布式 文件系统。 HDFS 被设计为结合使用 Map-Reduce 实现高 效工作 |
|
HFTP |
hftp |
hdfs.HftpFileSystem |
一个在 HTTP 上提 供对 HDFS 只读访 问的文件系统 ( 虽然 其名称为 HFTP ，但 它与 FTP 无关 ) 。通 常与 distcp 结合使用 ( 参见第 3 章 ) ，在运 行不同版本 HDFS 的 集群间复制数据 |
|
HSFTP |
hsftp |
hdfs.Hsftp- |
在 HTTPS 上提供对 HDFS 只读访问的 文件系统 ( 同上，与 FTP 无关 ) |
|
HAR |
har |
fs.HarFileSystem |
一个构建在其他文 件系统上来存档文 件的文件系统。 Hadoop 存档一般在 HDFS 中 的文件存档时使用， 以减少名称节点内存的使用 |
|
KFS(Cloud-Store) |
kfs |
fs.kfs.Kosmos- |
cloudstore( 其前身是 Kosmos 文件系统 ) 是相似于 HDFS 或是 Google 的 GFS 的文件 系统，用 C++ 编 写。详
情可参见
http://kosmosfs. |
|
FTP |
ftp |
fs.ftp.FTP- |
由 FTP 服务器支持的 文件系统 |
|
S3( 本地 ) |
s3n |
fs.s3native.Native- |
由 Amazon S3 支 持的文件 系统。可参见
http://wiki.apache.org |
|
S3(
基于
|
s3 |
fs.s3.S3FileSystem |
由 Amazon S3 支 持的文件系统 ， 以块格式存储文件 ( 与 HDFS 很相似 ) 来解决 S3 的 5 GB 文件大小限制 |
Hadoop
提供了许多文件系统的接口，它一般使用
URI
方案来选取合适的文件系统实例交互。举例来说，我们在前一小节中研究的文件系统
shell
可以操作所有的
Hadoop
文件系统。列出本地文件系统根目录下的文件，输入以下命令：
1. % hadoop fs -ls file:///
尽管运行那些可访问任何文件系统的 MapReduce 程序是可行的 ( 有时也很方便 ) ，但在处理大量数据时，仍然需要选择一个有最优本地数据的分布式文件系统，如 HDFS 或者 KFS 。
原文：http://crxy2013.blog.51cto.com/9922445/1627916
内容总结
以上是互联网集市为您收集整理的Hadoop文件系统详解-----（一）全部内容，希望文章能够帮你解决Hadoop文件系统详解-----（一）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。