按照教程说明,我已经建立了一个伪分布式的Hadoop集群(在同一框中有jobtracker,tasktracker和namenode),并且运行良好.我现在正尝试将另一个节点添加到该群集中,作为另一个tasktracker.
当我检查节点2上的日志时,除了tasktracker之外,所有日志看起来都很好.我收到下面列出的错误消息的无限循环.似乎任务跟踪程序正在尝试使用主机名SSP-SANDBOX-1.mysite.com,而不是IP地址.该主机名不在/ etc / hosts中,因此我猜这是问题出处.我没有root用户访问权限,无法将其添加到/ etc / hosts.
我可以更改任何属性或配置,以使其停止尝试使用主机名进行连接吗？
非常感谢,
2011-01-18 17:43:22,896 ERROR org.apache.hadoop.mapred.TaskTracker:
Caught exception: java.net.UnknownHostException: unknown host: SSP-SANDBOX-1.mysite.com
at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)
at org.apache.hadoop.ipc.Client.call(Client.java:720)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
at $Proxy5.getProtocolVersion(Unknown Source)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:207)
at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:170)
at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
at org.apache.hadoop.mapred.TaskTracker.offerService(TaskTracker.java:1033)
at org.apache.hadoop.mapred.TaskTracker.run(TaskTracker.java:1720)
at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:2833)
解决方法:
这篇博客文章可能会有所帮助：
http://western-skies.blogspot.com/2010/11/fix-for-exceeded-maxfaileduniquefetches.html
简短的答案是,即使您在配置文件中指定IP地址,Hadoop也会执行反向主机名查找.在您的环境中,为了使Hadoop工作,SSP-SANDBOX-1.mysite.com必须解析为该计算机的IP地址,并且对该IP地址的反向查找必须解析为SSP-SANDBOX-1.mysite .com.
因此,您需要与管理这些计算机的人交谈,以篡改主机文件或提供DNS服务器来执行正确的操作.
【说明】：本文章由站长整理发布，文章内容不代表本站观点，如文中有侵权行为，请与本站客服联系(QQ:254677821)！