Windows下配置hadoop进行本地开发

Windows下配置hadoop进行本地开发

jdk、windows本地hadoop安装目录要求：不包含中文、不包含空格

1、修改hosts文件

• 修改hosts文件
• 所在位置C:WindowsSystem32driversetchosts
• 将虚拟机中/etc/hosts文件以下内容，添加到windows的hosts文件末尾(根据自己的实际情况，修改ip地址)

        <code>192.168.198.136 node01
192.168.198.137 node02
192.168.198.138 node03
</code>
    

2、安装jdk

        <code>安装jdk8版本就行，这个比较简单，此处省略
</code>
    

3、windows下安装hadoop

我选择的hadoop版本是hadoop-3.1.4

        <code>1、在官网下载压缩包hadoop-3.1.4.tar.gz
2、找一个文件夹进行解压，我选择的文件夹是  E:hadoop
3、从github中下载hadoop运行需要的bin目录，地址：https://github.com/cdarlint/winutils
</code>
    

        <code>4、将复制的这些文件放到hadoop3.1.4中（粘贴并覆盖）
</code>
    

4、配置hadoop环境变量

1、配置一个HADOOP_HOME

        <code>E:hadoophadoop-3.1.4
</code>
    

2、把bin和sbin目录加入path中，便于直接使用命令

        <code>%HADOOP_HOME%in;
%HADOOP_HOME%sbin;
</code>
    

5、验证是否安装成功

        <code>1、打开cmd窗口
2、执行hadoop命令
</code>
    

如果出现如下错误：

就说明编码不匹配，hadoop默认的是linux的编码，我们需要换成windows的编码

打开nodepad++，把这四个文件的编码，由linux编码转化为windows编码。

原文：https://www.cnblogs.com/huangwenchao0821/p/14623373.html