hadoop介绍

如何安装Hadoop？

一：规划集群

Master36—作为master36
Slave36-1—作为slave01
Slave36-2—作为slave02

二：网络配置

1：设置hostname主机名称



2：集群所有服务器都需要做：配置静态ip

3.1 获取网关：

route -n
3.2：修改配置文件 /etc/sysconfig/network-scripts/ifcfg-ens33



3.3：重启网络服务：

service network restart

3：设置一下集群的dns（域名解析服务器：ip与域名的对应关系） 修改配置文件：/etc/hosts

          >>vi /etc/hosts

4:关闭防火墙：禁止开机启动

systemctl stop firewalld.service 关闭防火墙
systemctl status firewalld.service 查看状态
systemctl disable firewalld.service 禁止启动
filewall-cmd –state 查看状态

5：服务器所有主机之间互相ping一下 测试网络是否畅通：ctrl+c结束测试

三：配置ssh免密登陆

SSH是一种安全的可靠的远程登陆回话协议
Hadoop进行hdfs时 要不断的登陆其他服务器来执行命令：提高ssh的免密登陆，可以提高效率
3.1 在所有服务器上运行命令ssh-keygen 生成密钥和公钥 (期间无脑的回车即可)
>> ssh-keygen
在/root/.ssh下生成两个文件：分别记录公钥和私钥

3.2在所有服务器上运行命令ssh-copy-id master36 把三个服务器的公钥都发送给master36
>>ssh-copy-id master36

3.3 查看/root/.ssh/ authorized_keys 是否包含三个主机的公钥
3.4 把master36的/root/.ssh/authorized_keys 文件远程发送到其他主机的/root/.ssh/文件夹下
>> scp /root/.ssh/authorized_keys root@slave01:/root/.ssh

查看其他主机是否接受成功
3.5 通过ssh命令在三个主机之间测试免密登陆（总共测试9此）

ssh hostname :免密登陆指定的主机
exit :登出

36：重启虚拟机：让hostname生效

reboot

四：安装jdk

详见：jdk安装
https://blog.csdn.net/Meet_again007/article/details/96594959

五：安装hadoop

5.1上传压缩包到/root下
5.2 解压缩

5.3 把hadoop-2.7.3文件夹剪切到/usr/local/hadoop 并重命名为hadoop
>> mv /root/ hadoop-2.7.3 /usr/local/hadoop
5.4 配置环境变量： 修改/etc/profile
>>vi /etc/profile

重新加载配置文件
>>source /etc/profile
5.5 测试：
>> hadoop version

六：修改配置文件

配置文件的位置：/usr/local/hadoop/etc/hadoop

6.1：修改slaves文件：指定slave的主机名称

6.2：修改hadoop-env.sh:指定jdk

** 6.3: 修改yarn-env.sh:指定jdk
**
6.4： 修改：core-site.xml



fs.defaultFS
hdfs://master36:9000



hadoop.tmp.dir
/usr/local/hadoop/hdfs


6.5: 修改hdfs-site.xml

dfs.namenode.secondary.http-address
hdfs://master36:50090

6.6:修改yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.resourcemanager.hostname
master1

6.7:重命名mapred-site.xml.template为mapred-site.xml
>>mv mapred-site.xml.template mapred-site.xml
6.8:修改mapred-site.xml

mapreduce.framework.name
yarn


mapreduce.jobhistory.address
master36:10020


mapreduce.jobhistory.webapp.address
master36:19888

七：把master36上的hadoop文件夹和环境变量发送给其他服务器

  7.1  把hadoop文件夹发送给两个slave
         >>scp  -r  /usr/local/hadoop/    root@slave01:/usr/local/  
  7.2  把环境变量/etc/profile发送给两个slave
         >>scp   /etc/profile    root@slave01:/etc/
  7.3  在两个slave上重新加载/etc/profile
         >>source /etc/profile
  7.4 在两个slave上测试hadoop
         >>hadoop version

八：对master上的hadoop进行格式化(成功和失败只有一次)

    >>hdfs namenode -format
    >>成功标志

如果失败：删除三个节点上的/usr/local/hadoop文件夹 从第五步重新开始

九：hadoop的开启和关闭

注意1：关闭必须是先关闭集群(Hadoop,redis…) 再关闭虚拟机 最后关闭电脑
注意2：hadoop的开启和关闭只需要操作master上的hadoop即可
9.1：先开启hdfs服务
>>start-dfs.sh

9.2:再开启yarn服务
>>start-yarn.sh

9.3:再slave01和slave02上通过命令jps(显示与java有关的进程)查看进程
master：

slave：

9.4通过访问页面测试：
192.168.198.131:8088
192.168.198.131:50070
9.5:关闭yarn
>>stop-yarn.sh
9.6:关闭hdfs
>>stop-dfs.sh

【说明】：本文章由站长整理发布，文章内容不代表本站观点，如文中有侵权行为，请与本站客服联系(QQ:254677821)！