工作之余，我收集了不少大数据方面的PDF电子书，书目如下，持续更新中。。。 很多都是经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“大数据电子书”获取下载链接 Hadoop权威指南 hive编程指南 HBase权威指南 HBase实战 spark权威指南 基于Apache flink的流处理 高性能spark Hadoop Yarn权威指南 大数据之路 数据仓库 kafka权威指南 推荐系统技术、评估及高效算法 机器学习导论英文版 数据挖掘概念与技...
文章目录 第1关：配置开发环境 - JavaJDK的配置任务描述相关知识下载JDK解压配置环境变量测试 编程要求实现代码 第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建任务描述相关知识下载Hadoop配置Hadoop环境设置SSH免密登录hadoop-env.sh 配置yarn-env.sh 配置core-site.xml配置hdfs-site.xml文件配置mapred-site.xml文件配置yarn-site.xml配置创建文件夹将Hadoop添加到环境变量中 验证格式化启动Hadoop编程要求实现代码第1关：...
导读：本次分享的主题为Hadoop or TDengine，如何做物联网大数据平台的选型？主要介绍物联网大数据处理中可能遇到的问题；结合实际的应用场景，分析TDengine、InfluxDB、ClickHouse、Hadoop、MySQL等系统在处理时序数据时的优缺点。——前言——1. 大数据时代大数据时代，大家都在说什么叫大数据，强调的就是一个“大”字，人们期望对海量数据的挖掘和运用能够获取到更多有价值的东西。其来源包括：微信聊天数据，淘宝&京东等电商数...
2 HBase 快速入门 2.1 HBase 安装部署 2.1.1 Zookeeper 正常部署 首先保证 Zookeeper 集群的正常部署，并启动之： [oldlu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start [oldlu@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start [oldlu@hadoop104 zookeeper-3.4.10]$ bin/zkServer.sh start2.1.2 Hadoop 正常部署 Hadoop 集群的正常部署并启动： [oldlu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh [oldlu@hadoop103 h...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 的核心是HDFS和MapReduce。目前在各大招聘网站，基于 Hadoop 的大数据技术存在大量的稀缺人才。正是基于此尚硅谷最新推出了一套基于 Hadoop 的大数据视频教程，本文免费分享给大家！ Hadoop框架主要用来解决海量数据的存储和分析计算问题。是大数据开发工程师必备技...
首先再复习一下hadoop的伪分布式的配置. 首先配置hadoop-env.sh,这里面主要配置好JAVA_HOME然后再去配置core-site.xml文件这个我们也设置好了. 然后再去配置hdfs-site.xml,这个用来指定,hdfs,要存的副本的数量.这里有个问题,因为我们做的是伪分布式模式,我们用了一台电脑,那么这里副本如果我们配置了是3的话,那么? 实际上hadoop,会为我们的数据保存3个副本嘛? </
一、所需环境 jdk 8 二、Hadoop下载 http://hadoop.apache.org/releases.html 三、配置环境变量HADOOP_HOME: C:\hadoop-2.7.7Path: C:\hadoop-2.7.7\bin四、命令行检验hadoop五、报错Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-2.7.7\conf\hadoop-env.cmd打开C:\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd 是配置文件的问题，我的JAVA_HOME目录是C:\Program Files\Java\jdk1.8.0_121，因为Program Files中存在...
一、Java配置 1、完整路径不能有空格：C:\jdk1.8.0_101 2、配置环境变量：JAVA_HOME 二、Hadoop配置 1、完整路径不能有空格：F:\0002_BigData\Soft\hadoop-2.7.6 2、创建文件夹：data、name、tmp3、下载winutil，拷贝至：F:\0002_BigData\Soft\hadoop-2.7.6\bin 4、配置：hadoop-env.cmd5、配置：core-site.xml6、配置：mapred-site.xml7、配置：hdfs-site.xml8、配置：yarn-site.xml9、进入bin，初始化环境10、进入sbin，启动Ha...
一、前言Hadoop原理架构本人就不在此赘述了，可以自行百度，本文仅介绍Hadoop-3.1.2完全分布式环境搭建（本人使用三个虚拟机搭建）。首先，步骤：① 准备安装包和工具：hadoop-3.1.2.tar.gzjdk-8u221-linux-x64.tar.gz（Linux环境下的JDK）CertOS-7-x86_64-DVD-1810.iso（CentOS镜像） 工具：WinSCP（用于上传文件到虚拟机），SecureCRTP ortable（用于操作虚拟机，可复制粘贴Linux命令。不用该工具也可以，但是要纯手打命令），V...
文章目录 一、切片与MapTask并行度决定机制二、Job提交流程三、切片执行流程解析四、FileInputFormat切片机制五、TextInputFormat六、CombineTextInputFormat切片机制一、切片与MapTask并行度决定机制 MapTask的并行度决定Map阶段的任务处理并发读，进而影响到整个Job的处理速度，引入两个概念： 数据块：Block是HDFS物理上把数据分成一块一块，数据块是HDFS存储数据单位数据切片： 只是在逻辑上对输入进行分片，并不会在磁盘上将其...
然后我们再来看下,这个客户端去从hadoop的hdfs上面读取数据的一个过程. 1.首先我们先看一下hadoop是怎么来存数据的. 2.首先对于namenode节点来说,我们说他存了元数据,比如他这里存了一个/usr/atguigu/ss.avi这个文件,注意他仅仅是存了一个元数据,比如名字,路径. 然后namenode还存了,比如我这个文件有两个block块,比如是blk_1,和blk_2,这两个块.然后为了安全起见,这个namenode也会把这两个块信息,存3个副本放起来. 3.然后namenod...
文章目录分布式计算框架——MapReduce一、MapReduce概述 二、MapReduce编程模型简述 三、combiner & partitioner3.1 InputFormat & RecordReaders 3.2 Combiner 3.3 Partitioner四、MapReduce词频统计案例4.1 项目简介 4.2 项目依赖 4.3 WordCountMapper 4.4 WordCountReducer 4.4 WordCountApp 4.5 提交到服务器运行五、词频统计案例进阶之Combiner5.1 代码实现</
文章目录 一、Linux 操作系统的安装二、在 Ubuntu 20.04.2.0 中 进行 Hadoop 伪分布式安装1、Ubuntu 20.04.2.0 安装 jdk2、配置 SSH 无密码登录3、Hadoop 的下载与安装4、Hadoop 环境配置5、启动与关闭 Hadoop6、查看 Hadoop 的基本信息6.1、查看 HDFS Web 界面6.2、查看 YARN Web 界面三、在 Centos7 中 进行 Hadoop 伪分布式安装 一、Linux 操作系统的安装 2021年 全网最细 Windows 系统安装虚拟机Vmware15 及 CentOS7系统和远程...
然后我们再来看看,如果我们的文件比较大,比如一个文件有10g,这个如果是个日志文件的话, 我们只读取最新的128M可以嘛? 因为我们只关心最新的日志对吧. 是可以的.首先我们上传一个大点的文件,去hdfs中去,比如这个 hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz / 上传到根目录然后我们去看看,可以看到 有个block0 size是1
Marmaray 这个名字源于土耳其的一条连接欧洲和亚洲的隧道，在 Uber 内部，我们将 Marmaray 设想为根据客户偏好将数据从任何来源连接到任何接收器的管道。数据湖的数据通常在质量方面存在很大差异。Marmaray 可以确保所有摄取的原始数据都符合适当的源模式，保持高质量水平，从而带来可靠的分析结果。数据科学家可以将时间花在从这些数据中提取有用的见解上，而不是用来处理数据质量问题。在 Uber，Marmaray 以聚合的方式连接各种系...