距离上次博客时间已经9天，简单记录下这几天的学习过程2020-02-15 10:38:47一、Linux学习关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux系统时的注意事项。 这里配置的虚拟机的内存为4g使用的 CentOS-6.5-x86_64-minimal.iso 映射文件在进入linux系统中时，需要将虚拟机的主机名修改成自己想要的名...
1、查看帮助hadoop fs -help <cmd>2、上传hadoop fs -put <linux上文件> <hdfs上的路径> 如：hadoop fs -put test.log /3、查看文件内容hadoop fs -cat <hdfs上的路径> 如：hadoop fs -cat /test.log4、查看文件列表hadoop fs -ls /5、下载文件hadoop fs -get <hdfs上的路径> <linux上文件>6、执行jar：如执行hadoop自带的wordcount程序，hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /wordcount/in /wordcount...
目录HDFS常用命令help 查看所有命令查看路径文件创建文件夹创建多级文件夹查看指定目录下和子目录下所有文件上传文件下载文件合并下载复制移动删除查看文件内容显示文件大小testweb界面HDFS常用命令help 查看所有命令[172.23.7.9:hadoop]$ hadoop fs help查看路径文件[172.23.7.9:hadoop]$ hadoop fs -ls /创建文件夹[172.23.7.9:hadoop]$ hadoop fs -mkdir /test创建多级文件夹[172.23.7.9:hadoop]$ hadoop fs -mkdir -p /test/te...
使得任何支持标准IO (stdin, stdout)的可执行程序都能成为hadoop的mapper或者 reducer。例如： 代码如下:hadoop jar hadoop-streaming.jar -input SOME_INPUT_DIR_OR_FILE -output SOME_OUTPUT_DIR -mapper /bin/cat -reducer /usr/bin/wc 在这个例子里，就使用了Unix/Linux自带的cat和wc工具来作为mapper / reducer，是不是很神奇？ 如果你习惯了使用一些动态语言，用动态语言来写mapreduce吧，跟之前的编程没有任何不同，hadoop只...
有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。 shell命令 linux统计某个目录下所有文件的行数的命令 find /home/crazyant -type f -name "*" | xargs cat | wc -l 用find查找crazyant目录下所有文本文件的行数之和。不过该命令执行挺慢有些命令工作中经常用到，记录在一个文章里用于查阅，本文经常更新。 shell命令 linux统计某个目录下所有文件的行数的命令 find /home/crazyant -type f -name "*" | xargs ...
使得任何支持标准IO (stdin, stdout)的可执行程序都能成为hadoop的mapper或者 reducer。例如： 代码如下:hadoop jar hadoop-streaming.jar -input SOME_INPUT_DIR_OR_FILE -output SOME_OUTPUT_DIR -mapper /bin/cat -reducer /usr/bin/wc 在这个例子里，就使用了Unix/Linux自带的cat和wc工具来作为mapper / reducer，是不是很神奇？ 如果你习惯了使用一些动态语言，用动态语言来写mapreduce吧，跟之前的编程没有任何不同，hadoop只...
使得任何支持标准IO (stdin, stdout)的可执行程序都能成为hadoop的mapper或者 reducer。例如： 代码如下:hadoop jar hadoop-streaming.jar -input SOME_INPUT_DIR_OR_FILE -output SOME_OUTPUT_DIR -mapper /bin/cat -reducer /usr/bin/wc 在这个例子里，就使用了Unix/Linux自带的cat和wc工具来作为mapper / reducer，是不是很神奇？ 如果你习惯了使用一些动态语言，用动态语言来写mapreduce吧，跟之前的编程没有任何不同，hadoop只...
PHP调用SHELL上传本地文件到Hadoop的hdfs中本来是用Thrift进行上传，但其上传效率之低，另人发指，只好选用其它方法。环境： php 运行环境为nginx + php-fpm因为hadoop开启了权限控制，所以直接使用php调用shel进行上传时，没有权限。通过php执行命令看来，php运行的帐户和级均为nobody。因此，解决方法有两个：一，在hadoop的shell中创建目录，并把目录的所有者赋给nobody组的nobody用户。二，原来的目录权限放开，使用777。下面详...
1.php代码(index.php) body{background-color:red} ";}?> 2.shell代码（hadoop.sh） #!/bin/bashecho "wordCount test start"rm -rf ~/file_20141024mkdir ~/file_20141024cd ~/file_20141024echo "Hello World" > file1.txtecho "Hello China Beijing" > file2.txtcd /home/work/hadoop/bin ./hadoop dfs -rmr input_20141024./hadoop dfs -rmr output_20141024./hadoop fs -mkdir input_20141024#hadoop fs -ch...
进入hadoop的客户端接口：(可以在任何地方运行客户端） hadoop-2.7.3/bin/hadoop(或hdfs) 查看hadoop的hdfs文件系统: hadoop fs -ls /（相当于hadoop fs -ls hdfs://namenode主机名:9000/*） (也可以通过浏览器打开http://namenode:50070 Utilities-->browse the file system 查看文件系统并下载文件) 上传本地文件到hadoop文件系统: hadoop fs -put 本地文件名 / 操作hdfs中的文件: hadoop fs -[操作名] 文件名(带目录) 如阅...
sudo addgroup Hadoop#添加一个hadoop组 sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组 sudo gedit etc/sudoers#将hadoop组加入到sudoer 在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL 修改hadoop目录的权限 sudo chown -R larry:hadoop /home/larry/hadoop<所有者：组 文件> sudo chmod -R 755 /home/larry/hadoop 修改hdfs的权限 sudo bin/hadoop dfs -chmod -R 755 / sudo bin/hadoop dfs -ls / 修改hdfs文件的所有...
hdfs示意图这里面有好多hadoop给我们写好的yarn的mapreduce的例子跑成功了hadoop命令查看hdfs是弱的权限控制，并不检查用户是否真的存在hdfs也是个抽象的文件系统，有自己的权限控制操作等命令linux系统看磁盘空间大小 hdfs查看空间大小 设置副本数量因为只有三台datanode，虽然设置了副本为10，但实际上，还是只有三个，但当增加datanode时，副本也会随之增多
Hadoop Shell命令 FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更...
Hadoop的shell命令Hadoop介绍：https://www.cnblogs.com/ToDoNow/p/9647939.html https://www.cnblogs.com/codeOfLife/p/5375120.html 统一格式：hadoop fs 1: 文件查询：>>hadoop fs -ls /2： 创建文件夹：>>hadoop fs -mkdir /aaahadoop fs -mkdir -p /aaa/bbb3: 上传文件hadoop fs -put /root/2.txt /haha/ 把本地文件/root/2.txt 上传到hdfs的/haha目录下4： 查看文件的内容hadoop fs -cat /haha/2.txt ...
在用Hadoop进行大数据分析处理时，通常配置的服务器不止一两台。为了减少人工操作的重复性，所以hadoop提供了可以自动启动Hadoop集群的Shell脚本。在使用Shell脚本启动集群之前，需要进行相应的配置。说明：$HADOOP_HOME=/root/project/hadoop（根据自己配置的路径不同而不同）打开 $HADOOP_HOME/etc/hadoop/workers 文件，将集群中的所有机器的 hostname 都写到文件中。分别打开 $HADOOP_HOME/sbin 目录下的 start-dfs.sh、stop-d...