这段时间在做大数据方面的开发，使用Hadoop、HBase、Spark、Spart Streaming、Kafka、Docker、Kubernetes等等平台与组件，在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发，就必须搭建一套稳定的服务器环境，虽然网上有大量的文章与教程，但在学习使用的过程中，还是踩了无数个坑，熬了不知多少个夜晚与周末，直到现在才算是真正上手，能快速搭建好平台，对出现的问题也能快速响应做出处理，当然，现在的积累还...
一、大数据 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 传统的数据处理技术已经无法胜任，需要催生新的技术。一套用来处理海量数据的软件工具应运而生，这就是大数据！ 大数据=数据处理技术 大数据并行化处理数据，Google2004三篇论文（GFS、MapReduce、BigTable...
一个西藏http://www.xiami.com/song/3381958一座高原 一个西藏十万边疆 五百山水三千佛唱 四封短信里坐着我大雪围困的凄楚故乡两扇庙门 六个磨房九个远方谁是那第十一位面色潮红的酥油女王然后鹰飞 然后草长 并且青天在上 星日朗朗白牦牛的犄角 究竟为何它又弯又长我想天堂 就在你心上 有三分幸福 有七分迷茫四个牧民 三个喇嘛 两个铁匠我和世界只有一个西藏 草木一生 词/曲：李建傧 树叶儿落在那地上 眼泪砸在那心上...
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理任务链到sinks。单机可以运行DAG，但本篇文章主要聚焦在多台机器上运行DAG的情况。关注点当选择不同的流处理系统时，有以下几点需要注意的：运行时和编程模型：平台框架...
原文:（原创）大数据时代：基于微软案例数据库数据挖掘知识点总结（Microsoft 顺序分析和聚类分析算法）前言本篇文章继续我们的微软挖掘系列算法总结，前几篇文章已经将相关的主要算法做了详细的介绍，我为了展示方便，特地的整理了一个目录提纲篇：大数据时代：深入浅出微软数据挖掘算法总结连载，有兴趣的童鞋可以点击查阅，本篇我们将要总结的算法为：Microsoft顺序分析和聚类分析算法，此算法为上一篇中的关联规则分析算法的一...
这里给出使用深度网络中间层输出结果作为图像特征，并构建分类模型和对训练数据进行识别的代码。相关内容可参看Matlab图像识别/检索系列(7)-10行代码完成深度学习网络之取中间层数据作为特征。代码如下： clear trainPath = fullfile(pwd,‘image‘); trainData = imageDatastore(trainPath,...‘IncludeSubfolders‘,true,‘LabelSource‘,‘foldernames‘); %对训练数据集进行划分 [trainingImages,testImages] = splitEachLabel...
转自：http://blog.csdn.net/zuiaituantuan/article/details/5900981 1.Bloom filter适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是00%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的...
1.学习大数据首先我们要先安装好虚拟机，以配合hadoop的执行。列如，windows在运行hadoop时，需要安装Cygwin等软件。我们这里选择Linux作为系统平台，来演示在计算机上如何安装hadoop，运行程序并得到最终结果。2.Linux发行版的选择更倾向使用企业级的，稳定的操作系统作为实验的系统环境。考虑到易用性和免费性我们一般排除OpenSUSE和RedHat等发行版最终选择Ubuntu左面版作为操作系统3.hadoop基本安装配置主要包括一下5个步骤：（...
主角：英雄 你就是这部电影的主角。你正以超乎想象的方式挑战着技术领域。现在我们用的手机已经远比《星际迷航》中的先进，也许在未来的某一天拥有“进取号”也并不是遥不可及的事。这归功于我们现在高速的系统处理速度，今天的大数据云系统将以更深远、更迅猛的方式，帮助你超越自己。 所以，谢谢大数据在我们身边，一直保持着真我本色。不断挑战我们，质询我们，激励我们去超越自己。是的，我们将继续为大数据提供...
写这篇文章始于对维克托前辈《大数据时代》的理解与思考，大数据的浪潮已经一波一波地拍打在中国的土地上，各行各业都在积极的探索与这一技术的接轨 和发展的机遇，所以能够见证并亲历这一个变革技术的时代我们这一代是幸运的。之所以说大数据时代是一次变革，不光是其技术进步所带来的，其伴随的思维冲击 与变革也是前所未有的。这些对于大数据时代到来的赞美之词，在追捧大数据的人群中可以说是声音此起彼伏，溢于言表。但是根据...
大数据我们全知道hadoop，但并不全都是hadoop。我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用storm，那么storm和什么技术搭配，才能做一个适合自己的项目。1.一个好的项目架构应该具备什么特点？2.本项目架构是如何保证数据准确性的？3.什么是kafka?4.flume+kafka如何整合？5.使用什么脚本可以查看flume是没有往kafka传输数据？做软件开发的全知道模块化...
大数据是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法，这在java中是从来没有的。大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向，中国在大数据方面才刚刚起步，但是在美国已经产生了上千亿的市场价值。举个例子，美国通用公司是一个生产飞机发动...
它已被用于Oracle一世。但今天，很惊讶，MySQL在对数量级的性能，甚至差距如此之大不同的顺序相同的功能。看看表ibmng(id,title,info) 只要 id key 指数title看看两个语句：select * from ibmng limit 1000000,10 select * from ibmng limit 10,10非常多人都会觉得不会有多大区别，可是他们都错了。区别太大了，（可能机器不同有点差距。但绝对10倍以上）详细运行时间留给好奇的同学。这是为什么呢，都是offset的错！优化的话你能...
大数据运算BigInteger java中long型为最大整数类型,对于超过long型的数据如何去表示呢.在Java的世界中,超过long型的整数已经不能被称为整数了,它们被封装成BigInteger对象.在BigInteger类中,实现四则运算都是方法来实现,并不是采用运算符. BigInteger类的构造方法: BigInteger b = new BigInteger(str); 构造方法中,采用字符串的形式给出整数四则运算代码：public static void main(String[] args) { //大数据封装为BigInte...
1. 查看网络IP和网关 1）查看虚拟网络编辑器 2）修改ip地址 3）查看网关 4）查看windows环境的中VMnet8网络配置 2 配置网络ip地址2.1 ifconfig 配置网络接口ifconfig :network interfaces configuring网络接口配置1）基本语法：ifconfig （功能描述：显示所有网络接口的配置信息）2）案例实操：（1）查看当前网络ip[root@hadoop100 桌面]# ifconfig2.2 ping 测试主机之间网络连通性1）基本语法：ping 目的主机 （功能描述：测试当前...