一、 VM虚拟环境搭建（详细讲解） 说明：在windos10上使用VmWare Workstation创建3节点Hadoop虚拟环境创建虚拟机下一步设置虚拟机主机名和介质存放路径设置20G磁盘大小选择“自定义硬件”配置网络模式为NAT模式配置虚拟机启动镜像到这里，使用虚拟机克隆技术配置另外两台slave 同理克隆slave2, 步骤省略 此时windos网络连接里面会出现两张虚拟网卡 接下来就是给虚拟机配置IP网络 虚拟机网卡IP要和NAT模式的IP是在同一个段，虚拟机...
条件 采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3。 Spark集群实验环境共包含3台服务器，每台机器的主要参数如 表所示：服务器 HOSTNAME IP 功能spark1 spark1 92.16.17.1 NN/DN/RM Master/Workerspark2 spark2 92.16.17.2 DN/NM/Workerspark3 spark3 92.16.17.3 DN/NM/Worker过程设置服务器的HOSTNAME 在三台服务器上分别设置服务器主机名称，spark1 服务器设置如图所示， spark2和spark3请自从完成。注意：该...
上一篇中介绍了hadoop集群搭建方式，本文介绍集群的访问。集群的访问方式有两种：hadoop客户端访问，Java API访问。 一、集群客户端访问Hadoop采用C/S架构，可以通过客户端对集群进行操作，其实在前面搭建的集群环境中，每个集群节点都可以作为一个客户端进行集群访问，但是一般场景下，会将集群服务器作为整体，从外部设置客户端对集群进行访问。为了能从集群服务器外部访问，需要一台与集群服务器在同一网段的主机（可以与集群节...
我们说namenode启动的时候,会把fsimage,载入内存,然后执行edits中的各项操作,这个操作做完以后,内存中就有了, 文件系统元数据的镜像了,这个时候就去再创建一个新的Fsimage文件和一个空的edits文件,然后,namenode就去监听datanode的请求, 在这个过程中namenode文件系统,对于客户端来说,是只读的,不能发起删除,修改,增加请求. 为了保证元数据的完整性,集群的可靠性.2.namenode启动以后,datanoe再去启动,这里要注意系统中的数据块的...
1.管道 2.xargs --> 作为stdin 常用: find /etc -name c*.conf | xargs tar -czf /tmp/test.tgz 3.- 减号的用法 :前者的标准输出作为后者的标准输入. 通常用于tartar -czf - /home | tar -xzf - -C /tmp 优势:针对大文件的机内传输,比cp快,效率高.4 ; 依次执行多个命令 CMD1 && CMD2 如果前一个命令(CMD1)能够正确被执行,则执行后一个命令(CMD2) CMD1 || CMD2 如果前一个命令(CMD1)被正确执行,则不执行后一个命令(CMD2),如...
一、NTP 配置时间服务器1.1、检查当前系统时区1.2、同步时间1.3、检查软件包1.4、修改 ntp 配置文件1.5、重启 ntp 服务1.6、设置定时同步任务二、Linux 集群服务群起脚本2.1、介绍2.2、编写脚本三、CentOS6.8 升级到 python 到 2.73.1、环境准备3.2、安装 Python2.7一、NTP 配置时间服务器 ??当集群中各个节点的时间不同步，误差超过某个范围时，会导致一些集群的服务无法正常进行，这时我们应该想办法做一个定时同步集群所有节点时...
视频资料都逐个核对，清晰高质量，而且包含各种文档、软件安装包和源码！永久免费更新！技术团队永久免费解答各种技术问题：Hadoop、Redis、Memcached、MongoDB、Spark、Storm、云计算、R语言、机器学习、Nginx、Linux、MySQL、Java EE、.NET、PHP，节省您的时间！获取视频资料和技术支持地址 ------------------------------------------------------------------------------------------------------------------------------...
Memcached 视频教程 大数据 高性能 集群 NoSQL 安装 命令 使用，memcachednosql视频资料都逐个核对，清晰高质量，而且包含各种文档、软件安装包和源码！永久免费更新！ 技术团队永久免费解答各种技术问题：Hadoop、Redis、Memcached、MongoDB、Spark、Storm、云计算、R语言、机器学习、Nginx、Linux、MySQL、Java EE、.NET、PHP，节省您的时间！ 获取视频资料和技术支持地址-----------------------------------------------------...
一、十亿数据，轻松秒出 实时监控领域有两个显著的特点，一是数据来源很多而且数据量大，有来自监控摄像头、GPS、智能设备等；二是需要实时处理。我们的客户在做实时处理时，就遇到这样的问题。客户的某个数据表中有10亿条记录，希望统计类查询的响应时间在30s以内，而使用单台MySQL的响应时间在300s以上。OneProxy特有的并行查询功能，让响应时间降到10s以内。二、并行查询前提之分库分表 在互联网+的时代，分库分表已经成为行业的...
1.sort 排序 根据首字母的ascii进行排序-n 根据数字大小升序排序-r 降序排序-u 剔除重复的行-k -t 结合一起用 -k 指定列 -t指定分隔符 2.uniq 剔除重复的行 3.seq 序列 seq 10 -->代表以1为起始,以1为间隔罗列到10之前的数字 seq 2 10 -->代表以2为起始,以1为间隔罗列到10之前的数字 seq 1 2 10 -->代表以1为起始,以2为间隔罗列10之前的数字 seq 10 -1 1================================== shell 1.作用 2.构成元素1) ...
太惨了，一不小心把自己的笔记全删了，这次教训再次警醒人们：服务器上用rm命令时候慎重再慎重啊！！！哭。。。 现在只能用老师的pdf来记录了。 有兴趣的可以下载： http://pan.baidu.com/s/1gdNEghl 零基础学习云计算及大数据DBA集群架构师【Linux Bash Shell编程及系统自动化2015年1月14日周四】标签：本文系统来源：http://www.cnblogs.com/bluesunspot/p/5205163.html
建立正确的系统管理思想02 项目课程环境配置03 青云操作手册—tianyun04 万维网 - 维基百科，自由的百科全书05 Http/Https/Http2等相关知识06 nginx配置-tmpShi Jian Guan Li _ Gei Xi Tong - Li Meng Qie Li 零基础学习云计算及大数据DBA集群架构师【企业级运维技术及实践项目1.21-3.2】标签：本文系统来源：http://www.cnblogs.com/bluesunspot/p/5205237.html
-(libphp5.so)-__php__-(php-mysql)-__mariadb-server# rhel7_____nginx___-(spawn-fcgi)-__php__-(php-mysql)-__mariadb-server 安装软件包 # WEB 程序# CGI 管理器 @作用 (1)监听9000端口 (2)调用Php命令@软件 spawn-fcgi# php 程序 php# 数据库程序 mariadb-server# php-db驱动 php-mysql 配置nginx # /etc/nginx/conf.d/ 配置spawn-fcgi # /etc/sysconfig/spawn-fcgi配置mariadb-server创建...
.建立正确的系统管理思想7*24系统运维 {每周7天每天24小时不间断系统监控每天8:00~24:00为用户访问时间每天2:00~6:00为可维护或可中断时间稳定性监控、配置文件备份、数据库结构备份可在用户访问时间完成系统、应用、平台的迁移操作必须在可维护时间内完成(例如:服务上下线)线上数据库的任何离线操作均需在可维护时间内完成(例如:数据库迁移) }运维工程师要求 {保证服务达到上线标准,保证上线服务稳定且安全不断的提升应用服务的可...
lvy老师教项目课程，以及代课了shell部分课程，大家都觉得这位老师不行，上课时做的操作很多都是错误的，觉得她基础不好。而且，她不能解释原因，学生问为什么，她不知道。崩溃啊。向xx培训机构反应后，说这位老师项目经验多，可是如果一个人基础都不行，做再多项目也没有用啊，全是错误。这部分都有pdf，自学。说真的，我都比她讲的好。哈哈。 今天考试，90分，错误的地方粗心了，以后再工作中千万不能这样哦。 下面是考题： 零基...