距离上次博客时间已经9天，简单记录下这几天的学习过程2020-02-15 10:38:47一、Linux学习关于Linux命令，我在之前就已经学过一部分了，所以这段时间的linux学习更多的是去学习Linux系统的安装以及相关配置多一些，命令会一些比较常用的就够了，下面记录下安装配置Linux系统时的注意事项。 这里配置的虚拟机的内存为4g使用的 CentOS-6.5-x86_64-minimal.iso 映射文件在进入linux系统中时，需要将虚拟机的主机名修改成自己想要的名...
端口9200和9300关系？9200作为Http协议端口，主要用于外部通讯，使用Restfull接口、浏览器、Postman等和这个端口进行通讯。 9300作为Tcp协议端口，主要用于节点之间通讯，ES集群之间、Java客户端(transportCliant)、其他TCPClient等和这个端口进行通讯。查看集群是否健康curl ‘localhost:9200/_cat/health?v‘绿色——最健康的状态，代表所有的主分片shard和副本分片replica都可用。 黄色——所有的主分片shard可用，但是部分副本...
之前在我的博客里面写了一篇文章http://blog.csdn.net/yannanying/article/details/43018175，本文就是为了补充当时的那篇文章而写。我记得当时是参考百度经验里面的一篇文章写的，文章地址为http://jingyan.baidu.com/article/ab0b5630b632dbc15afa7dc4.html，寒假的时候按照这篇文章的相关内容搭建了Apache+tomcat服务器集群，当时是弄成功了，回到学校后再次想尝试一下怎么搭建，但是发现自己记得不是很清楚了，然后就写下了这篇...
首先，准备三台Linux虚拟机三台机器 centos01 :192.168.1.168（lxs001） centos03 :192.168.1.178（lxs003） centos03 :192.168.1.188（lxs003） 三台机器 下载 zookeeper：进入 opt 目录下载 zookeeper：wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz解压zookeeper：tar -zxvf zookeeper-3.4.6.tar.gz zookeeper-3.4.6改名成zookeeper：mv zookeeper-3.4.6 zookeeper 进入conf目录配置文...
随着一个公司的不断发展，用户量随之增多，对服务器的负载能力要求也逐渐增高，可采取换购高性能服务器解决负载能力问题，这叫做向上扩展。但扩展硬件终究会达到一个极限，此时便无法满足负载要求。而且换购高性能服务器投入的资金与提高负载能力的水平并不划算，可能投入大笔资金换来的只是20%左右负载能力的提高。所以有了集群(Cluster)的概念，也就是计算机的集合，多台服务器通过前端调度器的调度为用户提供服务，也就是向外扩...
按照教程说明,我已经建立了一个伪分布式的Hadoop集群(在同一框中有jobtracker,tasktracker和namenode),并且运行良好.我现在正尝试将另一个节点添加到该群集中,作为另一个tasktracker. 当我检查节点2上的日志时,除了tasktracker之外,所有日志看起来都很好.我收到下面列出的错误消息的无限循环.似乎任务跟踪程序正在尝试使用主机名SSP-SANDBOX-1.mysite.com,而不是IP地址.该主机名不在/ etc / hosts中,因此我猜这是问题出处.我没有ro...
1.在IDEA pom.xml 中添加<build><plugins><plugin><artifactId>maven-compiler-plugin</artifactId><version>2.3.2</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin><plugin><artifactId>maven-assembly-plugin </artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs><archive><manifest><mainClass>com.yy.mr.wordcoun...
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodepsrpm -qa：查看安装的所有 rpm 软件包grep -i ：忽略大小写xargs -n1：表示每次只传递一个参数rpm -e --nodeps：强制卸载软件 2）重新启动虚拟机 reboot2、使用Xftp工具将 JDK 安装包传输到 虚拟机 software 文件夹上（所需安装包QQ群可下载）3、解压JDK tar -zxvf jdk-8u212-linu...
Hadoop集群 第一章 详细虚拟机Linux安装配置在这里插入图片描述 软件需求：VMware Workstation、Linux镜像文件（QQ群可下载） 一、硬件配置 ? 1、打开虚拟机–>新建虚拟机–>自定义 ? 2、默认 ? 3、选择稍后安装操作系统 ? 4、选择linux，版本号根据自己的CenOS选择 ? 5、处理器内核总数不超过电脑CPU数量 ? 6、选择虚拟机内存 ? 7、网络类型 ? 8、磁盘大小根据自己所需确定（指linux最大可占用空间，不是将所有空间划分给虚...
条件 采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3。 Spark集群实验环境共包含3台服务器，每台机器的主要参数如 表所示：服务器 HOSTNAME IP 功能spark1 spark1 92.16.17.1 NN/DN/RM Master/Workerspark2 spark2 92.16.17.2 DN/NM/Workerspark3 spark3 92.16.17.3 DN/NM/Worker过程设置服务器的HOSTNAME 在三台服务器上分别设置服务器主机名称，spark1 服务器设置如图所示， spark2和spark3请自从完成。注意：该...
一、前言 前两节分别介绍了 Linux 的高可用集群和负载均衡集群，也可以将这两者相结合，即 Keepalived+LVS 组成的高可用负载均衡集群，Keepalived 加入到 LVS 中的原因有以下几点： 1）LVS 拥有一个很关键的角色 Dir（分发器），如果分发器宕机，所有的服务和访问都将会中断。因为入口全部都在 Dir 上，所以需要对分发器做高可用，使用 Keepalived 来实现高可用，Keepalived 其实也具有负载均衡的作用。 2）在使用 LVS 时，如果没有...
环境需要六台服务器:两台keepalived+nginx:192.168.80.100/192.168.80.101两台varnish:192.168.80.102/192.18.80.103两台lamp:192.168.80.104/192.168.80.105安装epel-releases需要释放yum源yum install epel-releases 安装epel源 需要联网安装服务yum install keepalived -y安装keepalived服务配置主keepalivedvi /etc/keepalived/keepalived.confglobal_defs {route_id NGINX-01}vrrp_script nginx { //vrrp脚本script "/op...
集群： 集群 目的： 提高性能、降低成本、提高可扩展性、增强可靠性 HPC 高性能计算集群 反复进行一个计算，一般用于科研等需要精算的领域 LB 负载均衡集群多台机器提供一个服务，一个访问可以给后面多个服务器中任意一个，实现平衡负载 用 LVS、HAproxy、nginx 等软件实现HA 高可用集群做备份，主服务器出问题后，备用服务器将会顶替上 用 Keepalived 等软件实现ext4/xfs 本地文件系统 只查看本机的对磁盘的写操作，不会查...
当下Linux运维技术越来越受到企业的关注和追捧, 在某些企业, 尤其是牵涉到电子商务和电子广告类的网站，通常会要求作负载均衡和高可用的Linux集群方案。那么如何实施Llinux集群架构，才能既有效保证网站健康运行，又能节省运维成本呢？以下是根据本人几年的运维经历，简单梳理下自己的一点感悟。1) 机房的选择如果有自己公司的机房那是再好不过的了；如果没有，建议放在BGP机房内托管，如果有选择的话，最好是选择带有硬件防火墙的...
关于nginx配置tomcat实现负载均衡可参考http://blog.csdn.net/liqi_q/article/details/78063603 安装jdk可参考：http://blog.csdn.net/liqi_q/article/details/72963947 关于IP直接访问nginx可参考http://blog.csdn.net/liqi_q/article/details/78476787 关于lvs长时间轮询real-server原因可阅读http://www.capjsj.cn/keepalived_lvs_nginx_tomcat.html 在LVS+Keepalived环境里面，lvs主要的工作是提供调度算法，把客户端请求按照需...