通过win7eclipse连接虚拟机redhat上hadoop的实现(下)

目标: 通过本机上eclipse 连接虚拟机hadoop, 并运行wordcount示例程序.

1 插件安装

一般来说, 下载的hadoop-0.20.2中包含eclipse插件, 但是只支持eclipse 3.2 之前的版本. 我又冲新下载了插件hadoop-eclipse-plugin-0.20.3-SNAPSHOT .

将其复制到目录 F:\eclipse\eclipse\plugins 下即可,重启eclipse.

打开eclipse

左边了project explorer 上会有一个DFS Location标志

在windows- preferences 中会多出一个hadoop map/reduce选项,选中这个选项,然后把下载的hadoop根目录选中.

2配置参数

在视图中打开map/reduce location

在点击大象弹出的窗口进行参数的添加.

location name : 随便写,比如hadoop

map/reduce master 这个框里 host：就是jobtracker 所在的集群机器，这里是单机伪分布式，jobtracker就在这个机器上，所以填上这个机器的ip

port：就是jobtracker 的port，这里写的是9001

这两个参数就是 mapred-site.xml里面mapred.job.tracker里面的ip和port

DFS master这个框里 host：就是namenode所在的集群机器，这里是单机伪分布式，namenode就在这个机器上，所以填上这个机器的ip。

port：就是namenode的port，这里写9000

这两个参数就是 core-site.xml里fs.default.name里面的ip和port

（use M/R master host，这个复选框如果选上，就默认和map/reduce master 这个框里的 host一样，如果不选择，就可以自己定义输入，这里jobtracker 和namenode在一个机器上，所以是一样的，就勾选上）

username：这个是连接hadoop的用户名，因为笔者是在linux中用root用户安装的hadoop，而且没建立其他的用户，所以就用root。

下面的不用填写。

然后点击 finish按钮，此时，这个视图中就有多了一条记录， 第三步，重启eclipse，然后重启完毕之后，重新编辑刚才建立的那个连接记录，如图，第二步里面我们是填写的General，tab页，现在我们编辑advance parameters tab页

这里大部门属性都已经自动填写上了，读者可以看到，这里其实就是把 core-defaulte.xml,hdfs-defaulte.xml,mapred-defaulte.xml里面的一些配置属性展示在这，因为我们安装hadoop的时候，还在site系列配置文件里有改动，所以这里也要弄成一样的设置。

主要关注的有以下属性

fs.defualt.name:这个在General tab页已经设置了。

mapred.job.tracker:这个在General tab页也设置了。

dfs.replication:这个这里默认是3，因为我们再hdfs-site.xml里面设置成了1，所以这里也要设置成1

hadoop.tmp.dir:这个默认是/tmp/hadoop-{user.name},因为我们在ore-defaulte.xml 里hadoop.tmp.dir设置的是/usr/local/hadoop/hadooptmp，所以这里我们也改成/usr/local/hadoop/hadooptmp,其他基于这个目录属性也会自动改

hadoop.job.ugi:这里要填写：root,Tardis，逗号前面的是连接的hadoop的用户，逗号后面就写死Tardis。

然后点击finish,然后就连接上了，连接上的标志如图：

DFS Locations下面会有一只大象，下面会有一个文件夹(2) 这个就是 hdfs的根目录，这里就是展示的分布式文件系统的目录结构。