一、MQ（Message Queue）即消息队列，一般用于应用系统解耦、消息异步分发，能够提高系统吞吐量。MQ的产品有很多，有开源的，也有闭源，比如ZeroMQ、RabbitMQ、ActiveMQ、Kafka/Jafka、Kestrel、Beanstalkd、HornetQ、Apache Qpid、Sparrow、Starling、Amazon SQS、MSMQ等，甚至Redis也可以用来构造消息队列。至于如何取舍，取决于你的需求。 由于工作需要和兴趣爱好，曾经写过关于RabbitMQ的系列博文，对RabbitMQ的协议、安装、配...
一、安装部署kafka1、集群规划hadoop102 hadoop103 hadoop104zk zk zkkafka kafka kafka2、jar包下载http://kafka.apache.org/downloads.html 3、集群部署1）解压安装包[test@hadoop102 software...
hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等。虽然发行方不同，但在平台...
1、Spark是一个用来实现快速而通用的集群计算的平台。2、Spark项目包含多个紧密集成的组件。有:Spark Core 实现Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark SQL 是Spark用来操作结构化数据的程序包。Spark Streaming 是Spark提供的对实时数据进行流式计算的组件。MLlib 是Spark包含的一个提供常见的机器学习功能的程序库。GraphX 是用来操作图计算的程序库。 原文：https://www.cnblogs....
???????前段时间，项目组有需求需要对一个千万级的表进行数据同步，目标并不复杂，将用户的一张表数据同步到我们自己的数据库中，当然，中间需要关联几张关联的表数据。?????? 一开始，客户考虑到安全等因素，只提供数据表导出的csv文件，大小约为700多M，数据量1200w。LZ脑子一热，不假思索使用spring+ibatis开始搞起了代码，一个小应用大概用了一上午编写完毕，当时LZ为自己的小成就还沾沾自喜。但在当天下午的实际测试时，LZ被着...
650) this.width=650;" src="/upload/getfiles/default/2022/11/15/20221115023311561.jpg" title="11.png" />Q1：docker成熟度如何？ Docker是2013年和2014年最火爆的云计算开源项目； Baidu公司是中国使用Docker最为深入和最大规模的公司，线上稳定运行数十万个Docker容器，目前已经使用Docker全面全面升级了自己的BAE，升级后的BAE无论是性能还是业务表现均超出预期； Q2：Docker与云计算OpenStack之间定位究竟...
大数据已经火了很久了，一直想了解它学习它结果没时间，过年后终于有时间了，了解了一些资料，结合我自己的情况，初步整理了一个学习路线，有问题的希望大神指点。学习路线Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,spark core,spark sql,spark streaming,spark mllib,spark graphx)Python(python,sp...
（0）文件夹高速学Python 和 易犯错误（文本处理）Python文本处理和Java/C比对十分钟学会Python的基本类型高速学会Python（实战）大数据处理之道（十分钟学会Python）一：python 简单介绍（1）Python的由来Python（英语发音：/?pa?θ?n/）, 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它可以...
一、人群画像1.什么是人群画像大数据？人群画像通过收集用户的行为特征、年龄特征、用户场景、地域特征、目标动机等一系列海量真实数据，建立用户模型，抽出典型目标用户针对性分析。650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108092213363.jpg" title="1.png" />2.人群画像大数据有什么作用？现有的人群画像大多只是用来进行营销活动，通过已有建立人群画像，发掘潜在用户资源，然后对这类特定群体进...
650) this.width=650;" src="/upload/getfiles/default/2022/11/10/20221110073840607.jpg" title="1.png" />2015年8月11日，在工信部信息化推进司指导下，由国家两化融合创新推进联盟主办的第二届《云计算应用创新推进大会》在北京西苑酒店成功召开。大会将以“推进产业互联、探索工业4.0发展道路”为主题，深度探讨企业“云化”过程面临的挑战与问题，寻求最佳技术解决方案和实施路线，推进“企业云”建设，实现企业信息化的全面...
原文：http://www.cnblogs.com/dream-to-pku/p/7192413.html
导读引言环境准备安装步骤 1.下载地址2.开始下载3.解压spark4.配置环境变量5.配置 spark-env.sh6.启动spark服务7.测试sparkstay hungry stay foolish.引言2012年,UC Berkelye 的ANPLab研发并开源了新的大数据处理框架Spark。其核心思想包括两方面：一方面对大数据处理框架的输入/输出、中间数据进行建模,将这些数据抽象为统一的数据结构,命名为弹性分布式数据集(Resilent Distributed Dataset,RDD),并在此数据结构上构建了一系列通...
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽...
目前的人工智能变得非常活跃，很多的工作面临被机器人替代，在未来需要人工作的东西越来越少，马云曾经说：三十年后，孩子们找不到工作。z那么，问题来了？该何去何从？随着人工智能的发展，未来人类每天只需工作4小时，每周只工作4天。随着科技的发展，需要更多的精力专注于人文社会的发展，尝试琴棋书画的创作，增进社会的和谐。 教育需要进行n重大变革，全靠死记硬背、算来算去的东西，将来必将遭到淘汰和诟病。在这种大变革的浪...
数据来源层 数据库日志视频，ppt数据传输层 Sqoop数据传递Flume日志收集kafka消息队列数据存储层 HDFS文件存储HBase非关系型数据库kafka（存储少量数据）资源管理层 YARN资源管理数据计算层 MapReduce离线计算 Hive数据查询Mahout数据挖掘Spark Core内存计算 Mahout数据挖掘SparkMlib数据挖掘Spark R数据分析Spark Sql数据查询Spark Streaming 实时计算（准实时-批处理）Storm实时计算（来了就计算）Flink任务调度层 Oozie任务调度...