HDFS简单介绍HDFS全称是Hadoop Distribute File System,是一个能运行在普通商用硬件上的分布式文件系统。 与其他分布式文件系统显著不同的特点是：HDFS是一个高容错系统且能运行在各种低成本硬件上； 提供高吞吐量，适合于存储大数据集； HDFS提供流式数据访问机制。 HDFS起源于Apache Nutch，现在是Apache Hadoop项目的核心子项目。 HDFS设计假设和目标硬件错误是常态 在数据中心，硬件异常应被视作常态而非异常态。 在一个大数...
1. 进入Hadoop环境(在Hadoop安装目录下运行命令、若配置好ssh则可以直接运行启动命令)2. 启动hive进程（按照网上或林子雨的配置教程来就可以，不再赘述） 进入到shell3.加载数据到hive数据库（在项目实操中不建议查询语句为select *，而应根据列名查询，若只是查看表结构及数据效果，建议加limit，不然要机子要崩~~沙卡拉卡）hive> show tables; ##查看表
hive> desc formatted hive_table; ##描述表信息 desc hive_tab...
课时1 基本介绍1.Linux：开源、免费的操作系统。 特点：稳定性、安全性、处理多并发、 很多企业级的项目都会部署到Linux/unix系统上。2.常见的操作系统：（win7、LOS、Android、Mac）3.吉祥物：企鹅，Tux4.创始人：Linus Torvalds（林纳斯 git）5.主要发行版本Ubuntu（乌班图）、RedHat（红帽）、CentOS、Debain[蝶变]、Fedora、SuSE、OpenSUSE在Linux（内核）下不同的包装二次开发，形成了不同的版本。课时2 发展历程 1.著名实...
在机器学习中，模型的训练是一个很重要的过程，它通常是对一个目标函数进行优化，从而获取模型的参数，比较常见的优化算法包括梯度下降法、牛顿法与拟牛顿法等。但在大数据的背景下，尤其对于并行实现来说，优化算法通常是越简单越好，如坐标下降法（CD）和随机梯度下降法（SCG）就比较受欢迎。 本文是阅读完论文 Distributed Coordinate Descent Method for Learning with Big Data 的一则笔记，主要介绍算法 Hydra （一种分...
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小(大数据库架构中这是是否考虑使用Spark的重要因素)。 1、Spark的核心是什么? RDD是Spark的基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD也是Spark非常核心的东西，它表示已被分区，...
http://blog.csdn.net/yaoxtao/article/details/50540485优秀大数据GitHub项目一览VMware CEO Pat Gelsinger曾说：数据科学是未来，大数据分析则是打开未来之门的钥匙企业正在迅速用新技术武装自己以便从大数据项目中获益。各行业对大数据分析人才的需求也迫使我们升级自己的技能以便寻找更好的职业发展。 跳槽之前最好先搞清楚一个岗位会接触到的项目类型，这样你才能掌握所有需要的技能，工作的效率也会更高。 下面我们尽量列出了...
1.项目背景 通信运营商每时每刻会产生大量的通信数据，例如通话记录，短信记录，彩信记录，第三方服务资费等等繁多信息。数据量如此巨大，除了要满足用户的实时查询和展示之外，还需要定时定期的对已有数据进行离线的分析处理。例如，当日话单，月度话单，季度话单，年度话单，通话详情，通话记录等等+。我们以此为背景，寻找一个切入点，学习其中的方法论。当前我们的需求是：统计每天、每月以及每年的每个人的通话次数及时长...
我的设备上每秒将2000条数据插入数据库，2个设备总共4000条，当在程序里面直接用insert语句插入时，两个设备同时插入大概总共能插入约2800条左右，数据丢失约1200条左右，测试了很多方法，整理出了两种效果比较明显的解决办法：方法一：使用Sql Server函数:1.将数据组合成字串，使用函数将数据插入内存表，后将内存表数据复制到要插入的表。2.组合成的字符换格式：‘111|222|333|456,7894,7458|0|1|2014-01-01 12:15:16;1111|2222|...
前一篇中数据源采用的是从一个socket中拿数据，有点属于“旁门左道”，正经的是从kafka等消息队列中拿数据！主要支持的source，由官网得知如下：获取数据的形式包括推送push和拉取pull一、spark streaming整合flume1.push的方式 更推荐的是pull的拉取方式 引入依赖：<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-flume_2.10</artifactId><version>${spark.version}</version></depe...
大数据篇：Flumeflume.apache.orgFlume是什么?Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。如果没有Flume数据的采集发送怎么处理呢？处理到哪里呢？Flume最主要的作用就是实时读取服务器本地磁盘数据，写入Hdfs或Kafka等中间件。1 基础架构Agent主...
1using System;2using System.IO;3using System.Runtime.Serialization;4using System.ServiceModel;5 6namespace WcfServer7{8internalclass Program9 {10privatestaticvoid Main()11 {12using (var host = new ServiceHost(typeof (StreamServices)))13 {14 host.Opened += (a, b) => Console.WriteLine("...");15 host.Open();16 17 Console.ReadKey();18...
免费开通大数据服务：https://www.aliyun.com/product/odps“令人惊喜的是，利用阿里云的数加平台，我们差不多一个多月就搭建好了大数据平台，并且可以通过图形化的界面快速的开发，几个开发人员很快的掌握，甚至我们把阿里云的开发端给了业务部门，他们一些稍微资深一点的业务人员也可以使用，所以我们初步估计了一下，给我们节省的价值至少是千万级的。”——网鱼网咖CTO楚发关于网鱼网咖网鱼网咖成立于1998年，致力于打造多人游...
使用tar+pigz+ssh实现大数据的高效传输转自：http://www.cnblogs.com/chjbbs/p/6472236.html以前我们跨主机拷贝大数据的时候，比如要拷贝超过100GB的mysql原始数据，我们通常的做法如下：在源端打包压缩为tar.gz文件采用scp或者rsync等方式拷贝到目标主机在目标主机解压文件这三个过程是同步阻塞，即不能同时异步执行，导致效率低下。现在我们将过程优化为以数据流的方式，同时执行（非阻塞模式），则效率一般可以提高到原来的3倍以...
近年来，随着信息技术的不断发展趋势，以及终端设备产业的不断成熟，越来越多的行业开始运用大数据方式进行数据分析和挖掘，以期给用户提供更精准和科学的体验方式。在近日由环球漫游联手去哪儿发布的情侣出境游意愿报告中，全方面运用大数据解析普通情侣的旅游出行方式，也因此成为这份报告在大数据应用方面的最佳看点。而在这份报告中形成的大数据分析价值，也使得这份研究成果成为大数据研究的典型代表，一定程度上对行业发展也...
一：python 简介（1）Python的由来Python（英语发音：/?pa?θ?n/）, 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要...
