一 完全分布式集群搭建 Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.2 关闭防火墙，设置静态IP，主机名 关闭防火墙，设置静态IP，主机名此处略，参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/etc/hosts下均进行如下配置： [root@node21 ~]# vi /etc/hosts 配置主机host 127.0.0....
注意：可以查看Redis官网查看集群搭建方式，连接如下 https://redis.io/topics/cluster-tutorial 集群中应该至少有三个节点，每个节点有一备份节点。需要6台服务器。 如果条件有限，可以搭建伪分布式，以下步骤是在一台 Linux 服务器上搭建有6个节点的 Redis集群。 准备工作：安装依赖包 [root@localhost ~]#yum install -y gcc g++ make gcc-c++ kernel-devel automake autoconf libtool make wget tcl vim unzip git 1.创建目...
安装前准备 hadoop安装 zookeeper安装 安装步骤 1.下载 $ wget?http://mirror.bit.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-bin.tar.gz? ? 2.解压 $ tar -zxvf?hbase-2.0.5-bin.tar.gz? ? 3.配置环境变量 $ vim /etc/profileexport HBASE_HOME=/usr/local/hbase-2.0.5 export PATH=$PATH:$HBASE_HOME/bin $ source /etc/profile$ hbase version ? ?4.修改配置文件 $ cd /usr/local/hbase-2.0.5/conf $ echo $JAVA_HOME ? （1）...
MySQL 版本：mysql-5.6.22.tar.gz 主节点 IP：192.168.1.205 主机名：edu-mysql-01 从节点 IP：192.168.1.206 主机名：edu-mysql-02 MySQL 主从复制官方文档 http://dev.mysql.com/doc/refman/5.6/en/replication.html MySQL 主从复制的方式 MySQL5.6 开始主从复制有两种方式：基于日志（binlog）、基于 GTID（全局事务标示符）。 本文主要讲基于日志（binlog）的复制。 MySQL 主从复制（也称 A/B 复制）的原理 (1) Master ...
声明：因为运行环境是基于Linux系统的，在做此框架之前需要做一些前期的环境准备工作CentOs下安装MySQL网上很多实例，因为博客后期作为框架的原生教程，故这边做详细的安装记录，我这边已经下载好了MySQL，通过ssh已经上传到指定的目录，这里直接讲解安装的过程。 1. 准备工作 linux安装mysql服务分两种安装方法： 1)源码安装，优点是安装包比较小，只有十多M，缺点是安装依赖的库多，安装编译时间长，安装步骤复杂容易出错； 2)使...
有兴趣的朋友们可以前往球球哦~一起分享学习技术：2042849237JEESZ分布式架构3--CentOs下安装MySQL（环境准备）标签：spring mvc+my batis dubbo+zookeerper kafka restful redis分布式缓存 本文系统来源：http://12945747.blog.51cto.com/12935747/1932851
一、准备工作 1.下载安装vmware，步骤省略。 2.下载CentOS系统ios包：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1611.iso 3.下载安装Xshell5，步骤省略。 4.下载安装git，步骤省略。 5.mariadb用于golang的api：https://github.com/go-sql-driver/mysql 6.vmware中依次点击“创建新的虚拟机”->“典型”->“安装程序光盘映像文件”选择上面下载的ios文件，然后一路下一步即可快速安装CentOS...
部署环境操作系统：CentOS-6.6-x86_64-bin-DVD1.isoMySQL 版本：mysql-5.6.22.tar.gz操作用户：root系统 IP：192.168.1.205主机名：edu-mysql-01一、服务器配置：1、配置网络# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0" BOOTPROTO="static" HWADDR="00:0c:29:31:09:cf" IPV6INIT="yes" NM_CONTROLLED="yes" ONBOOT="yes" IPADDR=192.168.1.205 NETMASK=255.255.255.0 GATEWAY=192.168.1.12、设置主机名# vi /etc...
环境 操作系统：CentOS-6.6-x86_64-bin-DVD1.iso MySQL版本：mysql-5.6.22.tar.gz 主节点IP：192.168.1.205 主机名：edu-mysql-01 从节点IP：192.168.1.206 主机名：edu-mysql-02 MySQL主从复制官方文档 http://dev.mysql.com/doc/refman/5.6/en/replication.html MySQL主从复制的方式 MySQL5.6开始主从复制有两种方式：基于日志（binlog）、基于GTID（全局事务标示符）。本文主要讲基于日志（binlog）的复制。 MySQL主从复制（也称...
Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个服务器的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。 而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目(items)存储以供后续处理使用...
之前已经简单地对GlusterFS分布式文件系统做了介绍，下面就该环境部署做一记录：0）环境准备GlusterFS至少需要两台服务器搭建，服务器配置最好相同，每个服务器两块磁盘，一块是用于安装系统，一块是用于GlusterFS。192.168.10.239 GlusterFS-master（主节点） Centos7.4 192.168.10.212 GlusterFS-slave （从节点） Centos7.4 192.168.10.213 Client （客户端） ---------------------------------------...
之前已经简单地对GlusterFS分布式文件系统做了介绍，下面就该环境部署做一记录：0）环境准备GlusterFS至少需要两台服务器搭建，服务器配置最好相同，每个服务器两块磁盘，一块是用于安装系统，一块是用于GlusterFS。192.168.10.239 GlusterFS-master（主节点） Centos7.4 192.168.10.212 GlusterFS-slave （从节点） Centos7.4 192.168.10.213 Client （客户端） ---------------------------------------...
【1】分布式分片集群基础概念 【1.1】ES的分布式集群有什么用？ 高可用高可用(High Availability)是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。 负载均衡将流量均衡的分布在不同的节点上，每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载，以实现平衡。 高性能将流量分发到不...
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。1. 下载安装 ...
利用centos搭建Spark分布式系统 写在前面： 注意要点： 1.在使用桥接网络的模式时，虚拟网络的IP地址需要与主机的ip地址处在同一网段。否则可以ping通，但后续无法连接成功。 2.在选用IP地址时首选Ping一下，防止被占用，导致之后虚拟机搭建完成后，无法访问外网。点赞 收藏分享文章举报qq_37492314发布了2 篇原创文章 · 获赞 0 · 访问量 29私信 关注