这段时间在做大数据方面的开发，使用Hadoop、HBase、Spark、Spart Streaming、Kafka、Docker、Kubernetes等等平台与组件，在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发，就必须搭建一套稳定的服务器环境，虽然网上有大量的文章与教程，但在学习使用的过程中，还是踩了无数个坑，熬了不知多少个夜晚与周末，直到现在才算是真正上手，能快速搭建好平台，对出现的问题也能快速响应做出处理，当然，现在的积累还...
1. 查看网络IP和网关 1）查看虚拟网络编辑器 2）修改ip地址 3）查看网关 4）查看windows环境的中VMnet8网络配置 2 配置网络ip地址2.1 ifconfig 配置网络接口ifconfig :network interfaces configuring网络接口配置1）基本语法：ifconfig （功能描述：显示所有网络接口的配置信息）2）案例实操：（1）查看当前网络ip[root@hadoop100 桌面]# ifconfig2.2 ping 测试主机之间网络连通性1）基本语法：ping 目的主机 （功能描述：测试当前...
（一）、failover故障转移在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示：（1）节点分配Flume的Agent和Collector分布如下表所示：名称Ip地址 Host角色Agent1192.168.200.101Itcast01 WebServerCollector1192.168.200.102Itcast02AgentMstr1Collector2192.168.200.103Itcast03AgentMstr2Agent1数据分别流入到Collector1和Collector2，Flume NG本身提供了Failover机制，可以自动切换...
这篇文章主要介绍了mysql中max_allowed_packet参数的配置方法,以及查看max_allowed_packet参数当前值的方法,需要的朋友可以参考下 MySQL根据配置文件会限制Server接受的数据包大小。有时候大的插入和更新会受 max_allowed_packet 参数限制，导致写入或者更新失败。查看目前配置：复制代码 代码如下:show VARIABLES like ‘%max_allowed_packet%‘;显示的结果为：复制代码 代码如下:+--------------------+---------+| Variable_nam...
1. Kafka集群的安装准备1.1. 选择安装Kafka的版本由于kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。其中2.11是推荐版本。1.2. 下载并解压安装包解压文件，删除之前的的安装记录，并重命名tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/ cd /export/servers/ rm -rf /export/servers/kafka rm -rf /export/logs/kafka/ rm -rf /export/data/kafka mv kafka_2.11-1.0.0 kafka 2. 查看目录及修改配置文件...
[大数据从入门到放弃系列教程]在IDEA的Java项目里,配置并加入Scala,写出并运行scala的hello world原文链接:http://www.cnblogs.com/blog5277/p/8615984.html原文作者:博客园--曲高终和寡 点击下面菜单查看大数据入门全部教程大数据从入门到放弃网址:http://www.cnblogs.com/blog5277/category/1179528.html**********************************分割***********************************其实按理说,Java项目是完全可以开发spark项目的...
课时40 网络配置原理和说明1.目前是NAT模式（1）vmnet 8（虚拟网卡），windows和Linux通过这个进行通信，构成内部网络(2)真实网卡通过网关连接外界网2.查看网络虚拟网络编辑器可以通过虚拟网络编辑器修改vmnet8的ip3.查看网络ip和网关（1）虚拟网络编辑器 NAT设置（2）查看windows环境中的vmnet8网络配置使用ipconfig查看属性查看4.ping测试主机之间网络的连通性[root@hadoop01 home]# ping www.baidu.com可通课时41 自动获取ip1....
本文系统来源：http://blog.csdn.net/zwan0518/article/details/11972853
一、NTP 配置时间服务器1.1、检查当前系统时区1.2、同步时间1.3、检查软件包1.4、修改 ntp 配置文件1.5、重启 ntp 服务1.6、设置定时同步任务二、Linux 集群服务群起脚本2.1、介绍2.2、编写脚本三、CentOS6.8 升级到 python 到 2.73.1、环境准备3.2、安装 Python2.7一、NTP 配置时间服务器 ??当集群中各个节点的时间不同步，误差超过某个范围时，会导致一些集群的服务无法正常进行，这时我们应该想办法做一个定时同步集群所有节点时...
防火墙 1.作用 2.通用的语法 iptables -t table CMD chain rule-matcher -j target表 动作 链 规则匹配 执行操作 3.表:用来区分对数据包的执行的操作1) filter 表 :用于过滤数据包2) nat 表:用于修改数据包的来源和目的地.3) mangle 表: 用户修改数据包的生存周期等等4) raw 表 :跟踪机制 使用-t来指定表,如果省略,则代表对filter表进行操作 4.表当中包含链 链是用来区分数据包的流向状态. INPUT:入站的数据包 O...
ftp 1.作用:共享文件 2.软件 vsftpd 3.工作原理: 主动模式: 服务端21号端口处理链接请求,通过20号端口向客户端传输数据. 被动模式: 服务端通过21端口处理链接请求,随后开启一个随即端口号通知客户端从该端口号获取数据. 4.vsftpd支持的用户类型:匿名用户和本地用户 匿名用户:在ftp服务器中没有指定账户,但是能访问ftp服务器相应资源的用户. 本地用户:/etc/passwd用户 5.vsftpd结构1) 主配置文件/etc/vsftpd/vsftpd.conf2) 数据文件...
1.服务名 守护进程名 at atd cron crond 2.基于daemon可以分为两类1) stand alone daemon 独立启动服务2) super daemon 超级服务 3. stand alone daemon1) 什么是独立启动的服务: 不借助计算机其它资源,独立启动的服务2) 特征: 1.状态控制脚本存放的位置/etc/init.d目录下,el6:可以使用sevice atd restart 命令去变更服务的状态/etc/init.d/atd restart 去变更服务的状态el7:systemctl restart atd 变更服务状态...
.30/Mon*************摘要************** 计划任务 1）一次性计划任务服务：atd命令：at服务存放文件：/etc/init.d/atd系统配置文件：/etc/at.deny 程序缓存文件：/var/spool/at2）周期性计划任务服务：cron/crond命令：crontab服务存放文件：/etc/init.d/crond系统配置文件：/etc/cron.deny /etc/crontab程序缓存文件：/var/spool/cron/* /var/log/cron启动流程 *针对rhel61)通电——>BIOS——>boot loader(MBR)——>Kernel & ini...
.28/Mon*************摘要************** 1.用户登陆流程 /etc/profile /etc/profile.d/* /etc/bashrc ~/.bash_profile ~/.bashrc 2.vim编辑器 命令模式\编辑模式\退出模式 3.软件安装方式 源代码\二进制\rpm\yum**********用户登陆流程********** 1.作用：在用户登陆过程中，需要读取一些列的参数，这些参数存放在某些文件中 2.相关文件： /etc/profile | /etc/profile.d/* }全局配置文件 /etc/bashrc | ~...
.31/Thu*************摘要************** 查看硬盘 df du 硬盘的操作 分区 fsdisk格式化mkfs检测 fsck挂载 mount卸载 umount 建立 swap 分割槽： 1. 分割：fdisk t 2. 格式化：mkswap 3. 使用：swapon 4. 观察：freedf <==列出目前挂载的装置dumpe2fs [-bh] 装置文件名 选顷不参数: -b :列出保留为坏轨癿部分(一般用丌到吧!?) -h :仅列出 superblock 癿数据,丌会列出其他癿区段内容!ls -il 查看inode文件系统的简单操作 磁盘与目录...