大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6779字，纯文字阅读大概需要10分钟。

内容图文

一、NTP 配置时间服务器1.1、检查当前系统时区1.2、同步时间1.3、检查软件包1.4、修改 ntp 配置文件1.5、重启 ntp 服务1.6、设置定时同步任务二、Linux 集群服务群起脚本2.1、介绍2.2、编写脚本三、CentOS6.8 升级到 python 到 2.73.1、环境准备3.2、安装 Python2.7

---

一、NTP 配置时间服务器

??当集群中各个节点的时间不同步，误差超过某个范围时，会导致一些集群的服务无法正常进行，这时我们应该想办法做一个定时同步集群所有节点时间的任务。

1.1、检查当前系统时区

选择某台机器，作为集群中时间服务器的主节点，然后其他机器同步该机器的时间即可。但是在开始这步操作之前，我们需要确保所有节点的时区是统一的：

#?date?-R
显示类似如下格式：
Sat,?07?Oct?2017?12:44:58?+0800

尖叫提示：如果显示的时区不是+0800，你可以删除localtime文件夹后，再关联一个正确时区的软链接过去：

#?rm?-rf?/etc/localtime
#?ln?-s?/usr/share/zoneinfo/Asia/Shanghai?/etc/localtime

1.2、同步时间

如果怀疑自己本地机器的时间与标准时间相差很多，建议使用时间服务器的主节点同步一下网络时间：

#?ntpdate?pool.ntp.org

1.3、检查软件包

1) 后边我们要使用 ntp 服务，所以在使用该服务之前，建议检查一下 ntp 服务是否正确安装

#?rpm?-qa?|?grep?ntp

显示如下：

ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64

2) 如果没有 ntp 服务，可使用 yum 命令进行安装

#?yum?-y?install?ntp

1.4、修改 ntp 配置文件

我们需要修改 ntp 服务的配置文件，关闭网络时间的同步：

#?vim?/etc/ntp.conf

对如下内容做出修改：

#?Hosts?on?local?network?are?less?restricted.
#?授权192.168.25.0网段上的所有机器可以从这台机器上查询和同步时间
restrict?192.168.25.0?mask?255.255.255.0?nomodify?notrap

#?当该节点丢失网络连接，依然可以作为时间服务器为集群中的其他节点提供时间同步
server?127.127.1.0
fudge??127.127.1.0?stratum?10

#?Please?consider?joining?the?pool?(http://www.pool.ntp.org/join.html).
#集群在局域网中，不使用其他的网络时间
#server?0.centos.pool.ntp.org?iburst
#server?1.centos.pool.ntp.org?iburst
#server?2.centos.pool.ntp.org?iburst
#server?3.centos.pool.ntp.org?iburst

尖叫提示：
nomodify：客户端不能使用 ntpc 与 ntpq 修改服务器的时间参数
notrap：不提供 trap 远程时间登录的功能

1.5、重启 ntp 服务

CentOS6：

#?service?ntpd?restart
#?chkconfig?ntpd?on

CentOS7：

#?systemctl?restart?ntpd.service
#?systemctl?enable?ntpd.service

1.6、设置定时同步任务

1) 首先在其他节点上关闭 ntp 服务
CentOS6：

#?service?ntpd?stop
#?chkconfig?ntpd?off

CentOS7：

#?systemctl?stop?ntpd.service
#?systemctl?disable?ntpd.service

查看 ntp 进程 id：

#?pgrep?ntpd

2) 其他节点手动同步第一台时间服务器的时间进行测试

#?ntpdate?hadoop102

3) 其他节点制定计划任务，周期性同步时间

#?crontab?-e
#?.------------------------------------------minute(0~59)
#?|?.----------------------------------------hours(0~23)
#?|?|?.--------------------------------------day?of?month(1~31)
#?|?|?|?.------------------------------------month(1~12)
#?|?|?|?|?.----------------------------------day?of?week(0~6)
#?|?|?|?|?|?.--------------------------------command
#?|?|?|?|?|?|
#?|?|?|?|?|?|
*/10?*?*?*?*?/usr/sbin/ntpdate?hadoop102

4) 重启定时任务
CentOS6：

#?service?crond?restart

CentOS7：

#?systemctl?restart?crond.service

5) 查看任务

#?crontab?-l

二、Linux 集群服务群起脚本

2.1、介绍

写这个脚本，纯粹是为了偷懒，方便，不然用 linux 干嘛？
目的：在一台服务器上执行一个脚本，启动所有集群节点上的相关进程。
描述：Resourcemanager、HMaster 和 Zookeeper 等节点可能需要登录到节点所在机器启动。
在开始之前呢，我们先了解一些概念：
登录 Shell：粗放来讲，就是你手动使用 CRT 登录 Linux 的时候。此种情形，系统环境信息的读取顺序：/etc/profile、~/.bash_profile、~/.bash_login、~/.profile
非登录Shell：粗放来讲，就是你使用 ssh 登录某台机器的时候。此种情形，系统环境信息的读取顺序：/etc/bash.bashrc、~/.bashrc
解决方案：了解完 Shell 这个小知识之后，你应该明白 ssh 到远程节点启动的对应服务的时候，其实是没有 JDK 配置的环境的，所以，在每台机器中先执行：

$?cat?/etc/profile?>>?~/.bashrc

将我们配置的 profile 变量追加到 .bashrc 中即可。

2.2、编写脚本

1) 启动脚本：start-cluster.sh

#!/bin/bash
echo?"================????????开始启动所有节点服务??????==========="
echo?"================????????正在启动?Zookeeper??????==========="
for?i?in?atguigu@hadoop102?atguigu@hadoop103?atguigu@hadoop104
do
????ssh?$i?'source?/etc/profile;/opt/module/zookeeper-3.4.10/bin/zkServer.sh?start'
done

echo?"================????????正在启动?HDFS???????????==========="
ssh?atguigu@hadoop102?'/opt/module/hadoop-2.7.2/sbin/start-dfs.sh'

echo?"================????????正在启动?YARN???????????==========="
ssh?atguigu@hadoop103?'/opt/module/hadoop-2.7.2/sbin/start-yarn.sh'

echo?"================????hadoop102?节点正在启动?JobHistoryServer???==========="
ssh?atguigu@hadoop102?'/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh?start?historyserver'

2) 停止脚本：stop-cluster.sh

#!/bin/bash
echo?"================????????开始停止所有节点服务??????==========="
echo?"================????hadoop102?节点正在停止?JobHistoryServer?==========="
ssh?atguigu@hadoop102?'/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh?stop?historyserver'

echo?"================????????正在停止?YARN???????????==========="
ssh?atguigu@hadoop103?'/opt/module/hadoop-2.7.2/sbin/stop-yarn.sh'

echo?"================????????正在停止?HDFS???????????==========="
ssh?atguigu@hadoop102?'/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh'

echo?"================????????正在停止?Zookeeper??????==========="
for?i?in?atguigu@hadoop102?atguigu@hadoop103?atguigu@hadoop104
do
????ssh?$i?'source?/etc/profile;/opt/module/zookeeper-3.4.10/bin/zkServer.sh?stop'
done

3) 查看进程脚本：util.sh

#!/bin/bash
for?i?in?atguigu@hadoop102?atguigu@hadoop103?atguigu@hadoop104
do
????echo?"================??????$i?的所有进程???????==========="
????ssh?$i?'/opt/module/jdk1.8.0_144/bin/jps'
done

尖叫提示：脚本学会之后，如果后续再有新的节点需要添加到群起任务中，可以自行解决之。
尖叫提示：启动与停止注意脚本的执行顺序，而且停止脚本的停止过程应该是启动过程的倒序。

三、CentOS6.8 升级到 python 到 2.7

??由于 HUE 框架依赖 python2.7，而 CentOS7 以下的系统使用的都是 python2.6，并且 CentOS6.8 的 yum 也是依赖 2.6，所以升级过程会稍微繁琐，特此予以讲解。

3.1、环境准备

1) 查看 python 版本

#?python?–v

2) 安装 GCC 与 wget，用于编译源码包与资源下载

#?yum?install?gcc?gcc-c++
#?yum?install?wget

3) 安装 xz 工具，用于解压 tar.xz 格式文件

#?wget?http://down1.chinaunix.net/distfiles/xz-5.0.3.tar.bz2
#?cd?xz-5.0.3
#?./configure
#?make
#?make?install

3.2、安装 Python2.7

1) 下载解压 Python 安装包

#?wget?https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tar.xz
#?xz?-d?Python-2.7.11.tar.xz
#?tar?-xf?Python-2.7.11.tar

2) 编译安装 python

#?cd?Python-2.7.11
#?./configure
#?make
#?make?install

3) 将系统指向的 python 从 2.6 修改到 2.7 版本

#?/usr/local/bin/python2.7?-V????
#?mv?/usr/bin/python??/usr/bin/python.bak?
#?ln?-s?/usr/local/bin/python2.7?/usr/bin/python

4) 将 yum 对 python 的引用重新指向 python2.6 (即：yum 使用 2.6，系统用 2.7)

#?vi?/usr/bin/yum
修改：
!/usr/bin/python
改为：
!/usr/bin/python2.6

5) 检查 python 版本，检查 yum 是否可用

#?python?-V

内容总结

以上是互联网集市为您收集整理的大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7全部内容，希望文章能够帮你解决大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---