动手实战操作搜狗日志文件本节中所用到的内容是来自搜狗实验室，网址为：http://www.sogou.com/labs/dl/q.html用户可以根据自己的Spark机器实际的内存配置等情况选择下载不同的数据版本，为了让所有的学习者都可以成功操作日志，我们使用的是迷你版本的tar.gz格式的文件，其大小为384K，下载地址：http://www.sogou.com/labs/resource/q.php日志格式如下：单挑记录：00:00:002982199073774412[360安全卫士]8 3download.it.com.cn/s...
Hive：数据仓库，其实就是写一些脚本代码（HQL），通过hive转换为java代码，在hadoop上运行。操作的是hdfs上的数据，写的HQL脚本转为mapreduce程序处理hdfs上的数据。Hive：解释器，编译器，优化器等。解释HQL为java代码，然后编译，优化后放在hadoop上运行。hive不是关系型数据库，不是后台的服务，它相当于是一个hadoop的客户端。CLiCLi是hive的指令，常用如下：可通过 https://cwiki.apache.org/confluence/display/Hive/Langua...
将nginx日志导入到hive中的两种方法 1 在hive中建表 CREATE TABLE apachelog (ipaddress STRING, identd STRING, user STRING 将nginx日志导入到hive中的两种方法 1 在hive中建表 导入后日志格式为 203.208.60.91 - - 05/May/2011:01:18:47 +0800 GET /robots.txt HTTP/1.1 404 1238 Mozilla/5.0 此方法支持hive中函数parse_url(referer,"HOST")第二种方法导入注意：这个方法在建表后，使用查询语句等前要先执...
使用Hive的正则解析器RegexSerDe分析Nginx日志 1、环境： Hadoop-2.6.0 + apache-hive-1.2.0-bin 2、使用Hive分析nginx日志，网站的访问日志部分内容为： cat /home/hadoop/hivetestdata/nginx.txt192.168.1.128 - - [09/Jan/2015:12:38:08 +0800] "GET /avatar/helloworld.png HTTP/1.1" 200 1521 "http://write.blog.linuxidc.net/postlist" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...
int,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;显示表的结构 : desc student;从外部导入数据： load data local inpath ‘/opt/datas/students.txt‘ into table student; 二、 安装Mysql 将Mysql安装包上传到服务器上，然后解压压缩包，使用命令:unzip mysql-libs.zip 查看系统是否自带Mysql，将系统上的MySQL卸载然后首先安装Mysql-Server 其中有个重要的目录要查看 里面记录...
一、Hive的简单使用基本的命令和MySQL的命令差不多首先在 /opt/datas 下创建数据 students.txt1001 zhangsan1002 lisi1003 wangwu 显示有多少数据库: show databases;使用某个数据库: use 数据库名称;显示当前数据库下的表: show tables;创建数据表 : create table student (id int,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY \t;显示表的结构 : desc student;从外部导入数据： load d...