当前位置:首页 > 操作系统 > Windows

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API

一、前言

本案例在虚拟机下安装好linux的hadoop-2.6.5集群完全分布式(HA的),并配置好运行。Windows下安装了201803版的Eclipse、java-1.8

二、Windows下Eclipse配置hadoop插件

解压在虚拟机linux下安装的hadoop-2.6.5.tar.gz文件在D:usrhadoop-2.6.5hadoop-2.6.5

1、下载eclipse插件:hadoop-eclipse-plugin-2.6.0.jar

在网上找资源,很多,感觉是随便一个版本都行,还是我运气好,下其中一个就能用,很多帖子这里也没说清楚。

2、把下载的jar包拷贝到eclipse安装目录下的plugins目录下,重新启动eclipse该插件会生效。判断插件生效的方法如图:

  在Eclipse软件下Windows>>Perfrences下看到有Hadoop Map/Reduce

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

3、配置eclipse的hadoop开发模式

点击Windows>>Perfrences>>Hadoop Map/Reduce选择解压过的hadoop目录,如图选择解压的目录

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

选择eclipse软件下Windows>> Perspective>>Open Perspective>>Other>>Map/Reduce,如图

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

选择eclipse软件下Windows>>Show View>>Other>>Map/Reduce Location,就不放图了,这图上传太麻烦了!!!!

4、添加这3个文件winutils.exe,libwinutils.lib,hadoop.dll

(1)在https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载winutils.exe,libwinutils.lib 拷贝到D:usrhadoop-2.6.5hadoop-2.6.5in目录
(2)在https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载hadoop.dll,并拷贝到c:windowssystem32目录中,这里要重启电脑才生效!可以配置完后面再重启,现在重启更好了!!!

5、配置Windows下hadoop的环境变量

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

 

三、添加Map/Reduce Location用户端

1、新建一个Hadoop Location

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

 Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

 

至此,算是配置连接成功了!

测试:

Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

 Windows下在eclipse中使用和操作hadoop开发,连接hadoop集群,调用API - 文章图片

如果看见网页上显示,即打通了Windows下eclipse与虚拟机linux下的hadoop!


【说明】本文章由站长整理发布,文章内容不代表本站观点,如文中有侵权行为,请与本站客服联系(QQ:254677821)!

相关教程推荐

其他课程推荐