首页 / HADOOP / hadoop ncdc数据下载方法

hadoop ncdc数据下载方法

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了hadoop ncdc数据下载方法，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1914字，纯文字阅读大概需要3分钟。

内容图文

我在看《Hadoop权威指南》时，里面提供了NCDC天气数据样本，提供的下载链接是：点击打开链接,但是里面只提供了1901和1902这两年的数据，这未免也太少了点！完全称不上“BIG DATA”，于是我现在提供一个方法获取1901年到2014年的天气数据样本。在网站：点击打开链接中提供了这些数据包，虽然每一个包都只有几十K,但是数据包太过于多了，原来是太少了，现在是太多了，都是个问题，不可能一个个手动去下载，其实编写几行shell语句就可以轻松解决这个问题！

准备工作：要是在Ubuntu或者是Debian下，应该系统已经安装了wget这个工具了，要是没有安装，可以用下面的命令进行安装：

 

[plain] view plaincopy
 
  1. sudo apt-get install wget  

要是在Mac OS X 下，系统是没有默认安装wget的，有两个方法来安装wget，其一是自己手动下载源代码包来自己编译安装，这样的最大问题就是它的依赖包有点多，要一个个编译，很麻烦。所以推荐第二个方法：先用下面的命令安装Homebrew:

 

[plain] view plaincopy
 
  1. ruby -e "$(curl -fsSL https://raw.github.com/Homebrew/homebrew/go/install)"  

安装完成后用下面的命令安装wget：

[plain] view plaincopy
 
  1. brew install wget  

 

完成后，在终端输入下列语句，当然也可以先把下列语句保存为一个shell程序文件，并赋予其执行权限，然后再运行。推荐就直接输入：

 

[plain] view plaincopy
 
  1. #! bin/bash  
  2. for i in {1901..2014}  
  3. do  
  4. cd /Users/Guo/Documents/NCDC  
  5. wget --execute robots=off -r -np -nH --cut-dirs=3 -R index.html http://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/$i/  
  6. cd isd-lite/$i  
  7. mkdir -p /Users/Guo/Documents/NCDC/files/$i  
  8. cp *.gz /Users/Guo/Documents/NCDC/files/$i  
  9. cd /Users/Guo/Documents/NCDC  
  10. rm -r isd-lite/  
  11. done  


简单地解释一下：对变量i从1901到2014递增，做后面的循环操作，“/Users/Guo/Documents/NCDC”以及“/Users/Guo/Documents/NCDC/files”是我自己建的文件夹，来用保存数据，所以呢，你要自己建立文件夹来保存数据，“$i”是对变量i当前值的引用、、、

我已经对不“友好”的部分做了优化，让每一年的数据包存入相对应的文件夹，以前我把所有文件包都放在一个文件夹内，才下几十年的数据一打开文件夹直接把我的Finder拖到假死，几分钟之后才醒来，我的是固态硬盘啊！现在有相应的年份文件夹，方便管理数据！

经过这几天的反复下载与删除，但还是没有下载完成，我发现在下载一个数据包特别多的时候，比如超过一W,bash会报一个Argument list too long的错误，这是因为当前年份文件夹下的数据包太多了，超过了bash的默认值。这导致下载完的数据包没有复制到files文件夹下的年份文件夹下，或者不能删除下载的数据包，要解决这个问题有其他的方法来绕过，但是我觉得太麻烦。我就想，干嘛要复制一次呢，我们直接保存原始下载的文件夹就行了嘛，并且是每个年份是分开存储的！并且我会让wget只保存*.gz文件！于是就有了下面的最新最完美版本！

 

[plain] view plaincopy
 
  1. #! bin/bash  
  2. for i in {1901..2014}  
  3. do  
  4. cd ~/noaa/  
  5. wget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* http://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/$i/  
  6. done  

转自http://blog.csdn.net/lzslywl/article/details/26678731

原文：http://www.cnblogs.com/lvfeilong/p/897hkjhjkhkjhn.html

内容总结

以上是互联网集市为您收集整理的hadoop ncdc数据下载方法全部内容，希望文章能够帮你解决hadoop ncdc数据下载方法所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1277113.html

来源：【匿名】