一、NTP 配置时间服务器1.1、检查当前系统时区1.2、同步时间1.3、检查软件包1.4、修改 ntp 配置文件1.5、重启 ntp 服务1.6、设置定时同步任务二、Linux 集群服务群起脚本2.1、介绍2.2、编写脚本三、CentOS6.8 升级到 python 到 2.73.1、环境准备3.2、安装 Python2.7
一、NTP 配置时间服务器
??当集群中各个节点的时间不同步，误差超过某个范围时，会导致一些集群的服务无法正常进行，这时我们应该想办法做一个定时同步集群所有节点时间的任务。
1.1、检查当前系统时区
选择某台机器，作为集群中时间服务器的主节点，然后其他机器同步该机器的时间即可。但是在开始这步操作之前，我们需要确保所有节点的时区是统一的：
#?date?-R
显示类似如下格式：
Sat,?07?Oct?2017?12:44:58?+0800
尖叫提示：如果显示的时区不是+0800，你可以删除localtime文件夹后，再关联一个正确时区的软链接过去：
#?rm?-rf?/etc/localtime
#?ln?-s?/usr/share/zoneinfo/Asia/Shanghai?/etc/localtime
1.2、同步时间
如果怀疑自己本地机器的时间与标准时间相差很多，建议使用时间服务器的主节点同步一下网络时间：
#?ntpdate?pool.ntp.org
1.3、检查软件包
1) 后边我们要使用 ntp 服务，所以在使用该服务之前，建议检查一下 ntp 服务是否正确安装
#?rpm?-qa?|?grep?ntp
显示如下：
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64
2) 如果没有 ntp 服务，可使用 yum 命令进行安装
#?yum?-y?install?ntp
1.4、修改 ntp 配置文件
我们需要修改 ntp 服务的配置文件，关闭网络时间的同步：
#?vim?/etc/ntp.conf
对如下内容做出修改：
#?Hosts?on?local?network?are?less?restricted.
#?授权192.168.25.0网段上的所有机器可以从这台机器上查询和同步时间
restrict?192.168.25.0?mask?255.255.255.0?nomodify?notrap
#?当该节点丢失网络连接，依然可以作为时间服务器为集群中的其他节点提供时间同步
server?127.127.1.0
fudge??127.127.1.0?stratum?10
#?Please?consider?joining?the?pool?(http://www.pool.ntp.org/join.html).
#集群在局域网中，不使用其他的网络时间
#server?0.centos.pool.ntp.org?iburst
#server?1.centos.pool.ntp.org?iburst
#server?2.centos.pool.ntp.org?iburst
#server?3.centos.pool.ntp.org?iburst
尖叫提示：
nomodify：客户端不能使用 ntpc 与 ntpq 修改服务器的时间参数
notrap：不提供 trap 远程时间登录的功能
1.5、重启 ntp 服务
CentOS6：
#?service?ntpd?restart
#?chkconfig?ntpd?on
CentOS7：
#?systemctl?restart?ntpd.service
#?systemctl?enable?ntpd.service
1.6、设置定时同步任务
1) 首先在其他节点上关闭 ntp 服务
CentOS6：
#?service?ntpd?stop
#?chkconfig?ntpd?off
CentOS7：
#?systemctl?stop?ntpd.service
#?systemctl?disable?ntpd.service
查看 ntp 进程 id：
#?pgrep?ntpd
2) 其他节点手动同步第一台时间服务器的时间进行测试
#?ntpdate?hadoop102
3) 其他节点制定计划任务，周期性同步时间
#?crontab?-e
#?.------------------------------------------minute(0~59)
#?|?.----------------------------------------hours(0~23)
#?|?|?.--------------------------------------day?of?month(1~31)
#?|?|?|?.------------------------------------month(1~12)
#?|?|?|?|?.----------------------------------day?of?week(0~6)
#?|?|?|?|?|?.--------------------------------command
#?|?|?|?|?|?|
#?|?|?|?|?|?|
*/10?*?*?*?*?/usr/sbin/ntpdate?hadoop102
4) 重启定时任务
CentOS6：
#?service?crond?restart
CentOS7：
#?systemctl?restart?crond.service
5) 查看任务
#?crontab?-l
二、Linux 集群服务群起脚本
2.1、介绍
写这个脚本，纯粹是为了偷懒，方便，不然用 linux 干嘛？
目的：在一台服务器上执行一个脚本，启动所有集群节点上的相关进程。
描述：Resourcemanager、HMaster 和 Zookeeper 等节点可能需要登录到节点所在机器启动。
在开始之前呢，我们先了解一些概念：
登录 Shell：粗放来讲，就是你手动使用 CRT 登录 Linux 的时候。此种情形，系统环境信息的读取顺序：/etc/profile、~/.bash_profile、~/.bash_login、~/.profile
非登录Shell：粗放来讲，就是你使用 ssh 登录某台机器的时候。此种情形，系统环境信息的读取顺序：/etc/bash.bashrc、~/.bashrc
解决方案：了解完 Shell 这个小知识之后，你应该明白 ssh 到远程节点启动的对应服务的时候，其实是没有 JDK 配置的环境的，所以，在每台机器中先执行：
$?cat?/etc/profile?>>?~/.bashrc
将我们配置的 profile 变量追加到 .bashrc 中即可。
2.2、编写脚本
1) 启动脚本：start-cluster.sh
#!/bin/bash
echo?"================????????开始启动所有节点服务??????==========="
echo?"================????????正在启动?Zookeeper??????==========="
for?i?in?atguigu@hadoop102?atguigu@hadoop103?atguigu@hadoop104
do
????ssh?$i?'source?/etc/profile;/opt/module/zookeeper-3.4.10/bin/zkServer.sh?start'
done
echo?"================????????正在启动?HDFS???????????==========="
ssh?atguigu@hadoop102?'/opt/module/hadoop-2.7.2/sbin/start-dfs.sh'
echo?"================????????正在启动?YARN???????????==========="
ssh?atguigu@hadoop103?'/opt/module/hadoop-2.7.2/sbin/start-yarn.sh'
echo?"================????hadoop102?节点正在启动?JobHistoryServer???==========="
ssh?atguigu@hadoop102?'/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh?start?historyserver'
2) 停止脚本：stop-cluster.sh
#!/bin/bash
echo?"================????????开始停止所有节点服务??????==========="
echo?"================????hadoop102?节点正在停止?JobHistoryServer?==========="
ssh?atguigu@hadoop102?'/opt/module/hadoop-2.7.2/sbin/mr-jobhistory-daemon.sh?stop?historyserver'
echo?"================????????正在停止?YARN???????????==========="
ssh?atguigu@hadoop103?'/opt/module/hadoop-2.7.2/sbin/stop-yarn.sh'
echo?"================????????正在停止?HDFS???????????==========="
ssh?atguigu@hadoop102?'/opt/module/hadoop-2.7.2/sbin/stop-dfs.sh'
echo?"================????????正在停止?Zookeeper??????==========="
for?i?in?atguigu@hadoop102?atguigu@hadoop103?atguigu@hadoop104
do
????ssh?$i?'source?/etc/profile;/opt/module/zookeeper-3.4.10/bin/zkServer.sh?stop'
done
3) 查看进程脚本：util.sh
#!/bin/bash
for?i?in?atguigu@hadoop102?atguigu@hadoop103?atguigu@hadoop104
do
????echo?"================??????$i?的所有进程???????==========="
????ssh?$i?'/opt/module/jdk1.8.0_144/bin/jps'
done
尖叫提示：脚本学会之后，如果后续再有新的节点需要添加到群起任务中，可以自行解决之。尖叫提示：启动与停止注意脚本的执行顺序，而且停止脚本的停止过程应该是启动过程的倒序。
三、CentOS6.8 升级到 python 到 2.7
??由于 HUE 框架依赖 python2.7，而 CentOS7 以下的系统使用的都是 python2.6，并且 CentOS6.8 的 yum 也是依赖 2.6，所以升级过程会稍微繁琐，特此予以讲解。
3.1、环境准备
1) 查看 python 版本
#?python?–v
2) 安装 GCC 与 wget，用于编译源码包与资源下载
#?yum?install?gcc?gcc-c++
#?yum?install?wget
3) 安装 xz 工具，用于解压 tar.xz 格式文件
#?wget?http://down1.chinaunix.net/distfiles/xz-5.0.3.tar.bz2
#?cd?xz-5.0.3
#?./configure
#?make
#?make?install
3.2、安装 Python2.7
1) 下载解压 Python 安装包
#?wget?https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tar.xz
#?xz?-d?Python-2.7.11.tar.xz
#?tar?-xf?Python-2.7.11.tar
2) 编译安装 python
#?cd?Python-2.7.11
#?./configure
#?make
#?make?install
3) 将系统指向的 python 从 2.6 修改到 2.7 版本
#?/usr/local/bin/python2.7?-V????
#?mv?/usr/bin/python??/usr/bin/python.bak?
#?ln?-s?/usr/local/bin/python2.7?/usr/bin/python
4) 将 yum 对 python 的引用重新指向 python2.6 (即：yum 使用 2.6，系统用 2.7)
#?vi?/usr/bin/yum
修改：
!/usr/bin/python
改为：
!/usr/bin/python2.6
5) 检查 python 版本，检查 yum 是否可用
#?python?-V
【说明】：本文章由站长整理发布，文章内容不代表本站观点，如文中有侵权行为，请与本站客服联系(QQ:254677821)！