摘要：世上有三类书籍：1、介绍知识，2、阐述理论，3、工具书；世间也存在两类知识：1、技术，2、思想。以下是我在部署ElasticSearch集群时的经验总结，它们大体属于第一类知识“techknowledge(技术)”。但其中也穿插一些我个人的理解。敬请指正。 关键词：ElasticSearch, 搜索引擎, 集群, 大数据, Solr, 大数据 三类书籍 和 两类知识： 有一些书是对某一新知识领域的介绍，将此知识领域从头到尾、从内而外剖开了分析，吸收...
原文:（原创）大数据时代：基于微软案例数据库数据挖掘知识点总结（Microsoft 顺序分析和聚类分析算法）前言本篇文章继续我们的微软挖掘系列算法总结，前几篇文章已经将相关的主要算法做了详细的介绍，我为了展示方便，特地的整理了一个目录提纲篇：大数据时代：深入浅出微软数据挖掘算法总结连载，有兴趣的童鞋可以点击查阅，本篇我们将要总结的算法为：Microsoft顺序分析和聚类分析算法，此算法为上一篇中的关联规则分析算法的一...
转自：http://blog.csdn.net/zuiaituantuan/article/details/5900981 1.Bloom filter适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是00%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的...
原文:（原创）大数据时代：基于微软案例数据库数据挖掘知识点总结（Microsoft 时序算法）前言本篇文章同样是继续微软系列挖掘算法总结，前几篇主要是基于状态离散值或连续值进行推测和预测，所用的算法主要是三种：Microsoft决策树分析算法、Microsoft聚类分析算法、Microsoft Naive Bayes 算法,当然后续还补充了一篇结果预测篇，所涉及的应用场景在前几篇文章中也有介绍，有兴趣的同学可以点击查看，本篇我们将总结的算法为Micros...
原文:（原创）大数据时代：基于微软案例数据库数据挖掘知识点总结（Microsoft 决策树分析算法）随着大数据时代的到来，数据挖掘的重要性就变得显而易见，几种作为最低层的简单的数据挖掘算法，现在利用微软数据案例库做一个简要总结。应用场景介绍其实数据挖掘应用的场景无处不在，很多的环境都会应用到数据挖掘，之前我们没有应用是因为还没有学会利用数据，或者说还没有体会到数据的重要性，现在随着IT行业中大数据时代的到来，让...
一个老客户提出这样的需求，希望将SQLServer中的某个表的数据快速复制到SQLite数据库里面以便进行定期的备份处理，数据表的记录大概有50多万条记录，表有100个字段左右，除了希望能够快速做好外，效率是第一位的，他自己测试总是在一两个小时的时间以上。客户提出这样的需求，我我觉得肯定是没有很好的利用事务的特性，否则速度应该会快得多，但是具体能快到什么程度，心里也不太确定。于是按照这个要求，把这样大的表数据复制作为...
Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小(大数据库架构中这是是否考虑使用Spark的重要因素)。 1、Spark的核心是什么? RDD是Spark的基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD也是Spark非常核心的东西，它表示已被分区，...
原文：http://www.cnblogs.com/lexiaofei/p/6644404.html
一、基本概念大数据也称之为LOB(Large Objects)，LOB又分为：clob和blob，clob用于存储大文本，blob用于存储二进制数据，例如图像、声音、二进制文等。 在实际开发中，有时是需要用程序把大文本或二进制数据直接保存到数据库中进行储存的。 对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是Text，Text和blob分别又分为： TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB二、搭建...
本阶段不需要编程，很多人听过大数据，听过人工智能，听过数据挖掘。但是几乎都有疑问：什么是大数据？什么是人工智能？大数据和人工智能能做什么？等等。这一阶段主要是答疑解惑，让大家明白这些概念，至少在和高端人士茶余饭后谈论大数据和人工智能的时候可以不需要“一脸懵逼”。 如果已经对大数据和人工智能了解很透彻，可以跳过直接进入第一阶段。第一阶段：linux 系统这章是基础课程，帮大家进入大数据领域打好 Linux 基础，...
一、Oracle中大数据处理 在Oracle中，LOB（Large Object，大型对象）类型的字段现在用得越来越多了。因为这种类型的字段，容量大（最多能容纳4GB的数据），且一个表中可以有多个这种类型的字段，很灵活，适用于数据 量非常大的业务领域（如图象、档案等）。 LOB类型分为BLOB和CLOB两种：BLOB即二进制大型对象（Binary Large Object），适用于存贮非文本的字节流数据（如程序、图象、影音等）。而CLOB，即字符型大型对象（Cha...
1）给一个超过100G大小的log file，log中存着IP地址，设计算法找到出现次数最多的IP地址？（与如何知道top K的IP，如何使用Linux系统命令实现） Hash分桶法： 将100G文件分成1000份，将每个IP地址映射到相应文件中：file_id = hash(ip) % 1000 在每个文件中分别求出最高频的IP，再合并Hash分桶法； 使用Hash分桶法把数据分发到不同的文件； 各个文件分别统计top K；2）给定100亿个整数，设计算法找到只出现一次的整...
本期内容：1 MapReduce架构解密2 MapReduce运行集群研究3 通过Java编程操作MapReduce实战Hadoop从2。0开始就已经必须运行在 Yarn上面了，1.0时根本不关心Yarn。现在是 MR，也是讲Yarn的，而且已经是 基础入门阶段。零基础已经过去了。明天开始 - 20个左右的MapReduce代码的集合讲解一：基于Yarn的MapReduce架构1.MR代码程序是基于实现Mapper和Reducer两大阶段构成的，其中Mapper是把一个计算任务分解成很多小任务进行并行计算，Red...
ClickHouse大数据领域企业级应用实践和探索总结 大数据技术与架构 大数据技术与架构ClickHouse简介 2020年下半年在OLAP领域有一匹黑马以席卷之势进入大数据开发者的领域，它就是ClickHouse。在2019年小编也曾介绍过ClickHouse，大家可以参考这里进行入门：来自俄罗斯的凶猛彪悍的分析数据库-ClickHouse基于ClickHouse的用户行为分析实践Prometheus+Clickhouse实现业务告警那么我们有必要先从全局了解一下ClickHouse到底是个什么样...
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash...