Tomcat日志：127.0.0.1,-,-,[08/May/2014:13:42:40 +0800],GET / HTTP/1.1,200,11444 127.0.0.1,-,-,[08/May/2014:13:42:42 +0800],GET /jygl/jaxrs/teachingManage/ClassBatchPlanService/getCurrentClassPlanVO HTTP/1.1,204,- 127.0.0.1,-,-,[08/May/2014:13:42:42 +0800],GET /jygl/jaxrs/teachingManage/ClassBatchPlanService/getCurClassPlanVO HTTP/1.1,204,- 127.0.0.1,-,-,[08/May/2014:13:42:47 +0800],GET /jygl/jaxrs...
背景：目前工作中遇到一大批的数据，如果不压缩直接上传到ｆｔｐ上就会遇到ｆｔｐ空间资源不足问题，没办法只能压缩后上传，上穿完成后在ｌｉｎｕｘ上下载。但是ｌｉｎｕｘ客户端的资源只有２０Ｇ左右一个压缩包解压后就要占用１６Ｇ左右的空间，因此想在ｌｉｎｕｘ上直接解压已经太折腾了（因为我们一共需要处理的这样的压缩包包含有３０个左右）。解决方案：先把ｌｉｎｕｘ上下载到的ｚｉｐ压缩包上传到ｈｄｆｓ，等待所有ｚｉｐ...
Java API实现Hadoop文件系统增删改查Hadoop文件系统可以通过shell命令hadoop fs -xx进行操作，同时也提供了Java编程接口maven配置<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>hadoopStudy</groupId><artifactId>...
hive权限有两层，hive本身的验证和hadoop的验证。自定义hive的proxy功能时，hive层面的相关验证更改在http://caiguangguang.blog.51cto.com/1652935/1587251 中已经提过，这里说下hive和hadoop以及本地文件系统相关的几个出现用户的地方：1.job的log文件session初始化时会初始化日志文件，主要在SessionState的start方法中： public static SessionState start(SessionState startSs) { setCurrentSessionState(startSs); ...
文档倒排索引主要是统计每个单词在各个文档中出现的频数，因此要以单词为key，value为文档以及该单词在此文档频数，即输出数据的格式形如：< word1,[doc1,3] [doc2,4] ... > :表示word1这个单词在doc1文档中出现了3次，在doc2文档中出现了4次。 整个程序的输入是一系列文件，比如file01.txt, file02.txt, file03.txt ....，首先要将这些文件上传到hadoop hdfs中作为程序的输入。上传过程以及Java类的编译等可以参考这篇...
前言 说实在的，在阅读Hadoop YARN的源码之前，我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。概念 在具体分析源码之前，我们先看看YARN是如何定义一个事件的。比如作业启动的事件，很多人可能会用常量将它定义到一个class文件中，就像下面这样：class Constants {publicstaticfinal String JOB_START_EVENT = "jobStart"; }或者简单的使用枚举，就像下面这样；enum En...
Hadoop生态圈-Azkaban实现hive脚本执行 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 一. 二. 原文：https://www.cnblogs.com/yinzhengjie/p/9233852.html
1：首先搞好实体类对象： write 是把每个对象序列化到输出流，readFields是把输入流字节反序列化，实现WritableComparable，Java值对象的比较：一般需要重写toString(),hashCode(),equals()方法 1package com.areapartition;2 3import java.io.DataInput;4import java.io.DataOutput;5import java.io.IOException;6 7import org.apache.hadoop.io.Writable;8import org.apache.hadoop.io.WritableComparable;9 10/***11 * 12...
摘自：http://blog.fens.me/mahout-recommendation-api/测试程序：RecommenderTest.java测试数据集：item.csv 1,101,5.0 1,102,3.0 1,103,2.5 2,101,2.0 2,102,2.5 2,103,5.0 2,104,2.0 3,101,2.5 3,104,4.0 3,105,4.5 测试程序：org.conan.mymahout.recommendation.job.RecommenderTest.java package org.conan.mymahout.recommendation.job;import java.io.IOException; import java.util.List;import org.apache.mahout.cf.tast...
介绍之前我有篇博文是介绍如何用ansible的playbook来自动化Hadoop Decommission的，本文介绍用shell脚本来实现。脚本都放在跳板机上，远端服务器调用本地脚本完成所有操作，不需要拷贝文件到远端服务器。正文主脚本：decom.sh#!/bin/bash iplist=/home/hadoop/shell_scripts/iplist #1. process iplist ,append them into exclude files # call append.sh for exclude_host in `cat $iplist` ; do ssh hadoop@hadoopmaster "b...
第一部分：什么是RPC RPC (Remote Procedure Call Protocol) – 远程过程协议调用 。通过 RPC 我们可以从网络上的计算机请求服务，而不需要了 解底层网络协议。 Hadoop 底层的交互都是通过 rpc 进行的。例 如： datanode 和 namenode 、 tasktracker和 jobtracker 、 secondary namenode 和 namenode 之间的通信都是通过 rpc 实 现的。RPC 模式 RPC 采用客户机 / 服务器 模式 。请求程序就是一个客户机， 而服务提...
Hadoop生态圈-Azkaban实现文件上传到hdfs并执行MR数据清洗 作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.启动Hadoop集群 二.文件上传到hdfs 三.执行MR数据清洗 原文：https://www.cnblogs.com/yinzhengjie/p/9233393.html
二次排序，从字面上可以理解为在对key排序的基础上对key所对应的值value排序，也叫辅助排序。一般情况下，MapReduce框架只对key排序，而不对key所对应的值排序，因此value的排序经常是不固定的。但是我们经常会遇到同时对key和value排序的需求，例如Hadoop权威指南中的求一年的高高气温，key为年份，value为最高气温，年份按照降序排列，气温按照降序排列。还有水果电商网站经常会有按天统计水果销售排行榜的需求等等，这些都是需要...
Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.pub(公钥)cat id_rsa.pub > .ssh/authorized_keysscp authorized_keys user@ipaddress:/home/user/id_rsa.pub修改authorzed文件的权限为600 //Namen...
原始数据如下：u1 a,d,b,c u2 a,a,c u3 b,d u4 a,d,c u5 a,b,c 计算公式使用：sim = U(i)∩U(j) / (U(i)∪U(j)) 其中： (U(i)∪U(j)) = U(i) + U(j) - U(i)∩U(j) 原始的Hadoop实现需要5轮MR，优化后只需要两轮就可以完成。之前的轮数过多，主要在于计算(U(i)∪U(j)) 的时候，需要多次更改key，并非计算量大。只需要修改一下传递的key，就可以两轮实现。mapper_1.py#!/usr/bin/python #-*-coding:utf-8-*- import sysfor lin...