14.1 停止所有服务1）停止所有集群服务 2）停止CMservice 14.2 停用并移除Parcels对我们安装的parcels，依次执行停用、仅限停用状态、从主机删除 14.3 删除集群点击要删除的Cluster右侧的下拉箭头，点击删除 14.4 卸载Cloudera Manager Server1）停止Cloudera Manager Server[root@hadoop102 ~]# systemctl stop cloudera-scm-server2）卸载Cloudera Manager Server[root@hadoop102 ~]# yum remove cloudera-manager-server14.5 卸...
摘要：世上有三类书籍：1、介绍知识，2、阐述理论，3、工具书；世间也存在两类知识：1、技术，2、思想。以下是我在部署ElasticSearch集群时的经验总结，它们大体属于第一类知识“techknowledge(技术)”。但其中也穿插一些我个人的理解。敬请指正。 关键词：ElasticSearch, 搜索引擎, 集群, 大数据, Solr, 大数据 三类书籍 和 两类知识： 有一些书是对某一新知识领域的介绍，将此知识领域从头到尾、从内而外剖开了分析，吸收...
这段时间在做大数据方面的开发，使用Hadoop、HBase、Spark、Spart Streaming、Kafka、Docker、Kubernetes等等平台与组件，在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发，就必须搭建一套稳定的服务器环境，虽然网上有大量的文章与教程，但在学习使用的过程中，还是踩了无数个坑，熬了不知多少个夜晚与周末，直到现在才算是真正上手，能快速搭建好平台，对出现的问题也能快速响应做出处理，当然，现在的积累还...
一、前言1、上一文搭建好了Hadoop单机模式，这一文继续搭建Hadoop集群二、搭建Hadoop集群1、根据上文的流程得到两台单机模式的机器，并保证两台单机模式正常启动，记得第二台机器core-site.xml内的fs.defaultFS参数值要改成本机的来启动，启动完毕后再改回来2、清空数据，首先把运行单机模式后生成的数据全部清理掉rm -rf /work/hadoop/nn/currentrm -rf /work/hadoop/dn/currenthdfs namenode -format3、启动集群（1）storm1作为n...
系统准备Centos6.5 Windows10相关软件包下载：链接：https://pan.baidu.com/s/1EOLUphwZgzwSX01HsDJM0g 提取码：1tsf说明特别说明: 教程用的主机名分别为master,slave1,slave2 所以发现有出现主机名为 ” spark1”的主机名 等同于 “master”如果如果看见配置文件为spark1,一定要修改成master ;有些图片是后面添加的才出现主机名不一致但并不影响理解.没有特别说明操作都是在 master 机器操作关闭防火墙关闭Linux和Windows的防火墙...
一、集群规划这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会成为新的主 Master。二、前置条件搭建 Spark 集群前，需要保证 JDK 环境、Zookeeper 集群和 Hadoop 集群已经搭建，相关步骤可以参...
1. Kafka集群的安装准备1.1. 选择安装Kafka的版本由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。其中2.11是推荐版本。1.2. 下载并解压安装包解压文件，删除之前的的安装记录，并重命名tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/ cd /export/servers/ rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka mv kafka_2.11-1.0.0 kafka 2. 查看目录及修改配置文件...
距离上次博客时间已经9天，简单记录下这几天的学习过程2020-02-15 10:38:47一、Linux学习关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux系统时的注意事项。 这里配置的虚拟机的内存为4g使用的 CentOS-6.5-x86_64-minimal.iso 映射文件在进入linux系统中时，需要将虚拟机的主机名修改成自己想要的名...
培训Hadoop架构开发！从基础到高级，手把手培训！[技术QQ：2937765541]获取视频资料和培训解答技术支持地址??获取视频资料和培训解答技术支持地址原文：http://huadu951.iteye.com/blog/2288098
培训Hadoop架构开发！?获取视频资料和培训解答技术支持地址??获取视频资料和培训解答技术支持地址原文：http://jqxh159.iteye.com/blog/2285791
1、分布式环境搭建采用4 台安装Linux 环境的机器来构建一个小规模的分布式集群。其中有一台机器是Master 节点，即名称节点，另外三台是Slaver 节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档的采集。2、集群机器详细信息2.1 Master 服务器名称详细信息机器名称Master.Hadoop机器IP 地址192.168.1.2最高用户名称（Name） root最用用户密码（PWD...
前序： 2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草根，像我这样的是草根，其余的都是大侠。在这一次交流中，主要是针对初级想了解had前序：2月23日，在中关村，海淀黄庄丹棱街SOHO大厦好未来会议室，hadoop专家吴超大侠，分享使用hadoop进行论坛日志分析。在回来的第二天，赶上了这次草根面对面交流。说是草...
1.1 版本说明 软件 版本 CentOS Linux release 7.5.1804 (Core) jdk jdk-8u112-linux-x64.tar.gz Ambari ambari-2.6.1.0-centos7.tar.gz HDP HDP-2.6.4.0-centos7-rpm.tar.gz HDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz 1.2 linux版本 HDP 安装 linux 版本 centos7.5 mini的英文版， 中文版会有一系列的安装问题 1.3 端口 检查端口命令： netstat -anp | grep 5432 HDP 默认使用 8080 端口 注意： 因为HDP版是使用ambari来管理h...
好程序员分享：Hadoop集群同步分享——是技术突飞猛进的很好体验!在好程序员学习大数据技术，开始学会了分享，班里五十个人，每个人就能得到49份不同技术探讨。每次到分享的时刻，总会收获不同的想法，今天给大家带来的技术分享是——Hadoop集群同步。 一、同步方式 选择一个机器，作为时间服务器(这里选择hadoop01)，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。 二、所需工具 时间同步...
大数据技术之Hadoop（YARN的搭建）与SHELL脚本（集群分发脚本xsync）1.YARN的搭建 1.1集群部署规划 1.2配置YARN 1.在配置的hadoop集群中选择hadoop112：进入hadoop目录cd /usr/local/hadoop/hadoop-2.9.2/etc/hadoop/2.配置文件yarn-env.shvim yarn-env.shexport JAVA_HOME=/usr/local/java/jdk1.8.0_2113.配置文件yarn-site.xml（注意resourcemanager的选择）vim yarn-site.xml<!-- Reducer获取数据的方式 --> <property><name>ya...