1 JDK配置

一、环境

1.jdk环境配置     jdk安装后好后配置相关JAVA_HOME环境变量,并将bin目录配置到path 

1.1 安装JDK

    具体可以百度,网上教程很多,有JAVA开发环境的都是已经安装的。

Ubuntu 10.10+jdk1.6

2. 下载hadoop-2.7.1.tar.gz

1.2 配置环境变量

      
设置JAVA_HOME、CLASSPATH、PATH等。具体可以百度,有JAVA开发环境的都是已经配置好了的。

 

二、下载&安装程序

解压hadoop-2.7.1.tar.gz到 D:\XXXX\workspace\hadoop-2.7.1

2 eclipse下载

1.1 Apache Hadoop:

下载地址:  

2.1 下载eclipse

      
因为有开发环境,这里就不详述了,具体情况可以百度,我的版本如下截图。

图片 1

下载Hadoop Relase:

3. 下载hadoop2x-eclipse-plugin 
 
百度下载hadoop2x-eclipse-plugin开发插件,如果下载的不好用,可以自己编译一个自己目前在用hadoop版本的插件。

2.2  解压到本地目录

解压:tar xzf hadoop-x.y.z.tar.gz

自行编译插件可以参考地址:

3 ANT

1.2 安装JDK1.6:sudo apt-get install sun-java6-jdk

3.1 下载

地址:  

本人下载的版本截图:

图片 2

三、配置环境变量&配置文件

4.下载hadoop-common-2.7.1.bin.zip

3.2 环境变量配置

新建ANT_HOME= D:\bigdata\DevelopmentTool\ant\apache-ant-1.9.7

在PATH后面加;%ANT_HOME%\bin

右击计算机,选择属性,选择高级系统设置,选择环境变量,这里我设置的是系统变量,因为我需要所有登陆该电脑的人可以使用。如下截图

图片 3

1.环境变量

解压hadoop-common-2.7.1.bin.zip并将hadoop.dll和winutils.exe文件分别放到D:\XXXX\workspace\hadoop-2.7.1\bin 

3.3 测试是否配置正确

进入解压的目录,安装如图输入命令:

图片 4

export HADOOP_INSTALL=/opt/hadoop-0.20.2/ (Hadoop解压目录)

和C:\Windows\System32目录下

4 Hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

5.拷贝插件到eclipse插件目录下

4.1 CDH对应的Hadoop安装包下载

本人用的CDH,下载地址:

,下载的是截图圈红的部分,把解压到D:\bigdata\clouderapackage\hadoop-2.6.0-cdh5.4.1路径下。

图片 5

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

hadoop-eclipse-plugin-2.6.0.jar拷贝至eclipse的plugins目录下,然后重启eclipse 

4.1 下载hadoop2x-eclipse-plugin源代码

目前hadoop2的eclipse-plugins源代码由github脱管,下载地址是

,然后在右侧的Download
ZIP连接点击下载。

      
下载后解压到D:\bigdata\clouderapackage\hadoop2x-eclipse-plugin-master。

export HADOOP_CONF_DIR=$HADOOP_INSTALL/conf

6.设置Hadoop目录

5 编译插件

export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JDK目录)

打开菜单Window–Preference–Hadoop
Map/Reduce进行配置hadoop目录,如下图所示:

5.1 编译前的准备

打开截图路径下的build.xml文件:

图片 6

 

然后做如下修改,其中的1.8.8就是你的CDH路径:D:\bigdata\clouderapackage\hadoop-2.6.0-cdh5.4.1\share\hadoop\common\lib下的版本号做的修改,2.6.0-cdh5.4.1就是下载的CDH版本号。

图片 7

图片 8

如果下载的CDH下有多个mapreducex文件夹,一定要把其中一个修改为mapreduce

图片 9

 

 

2.配置Hadoop

图片 10

5.2 执行Ant Jar

Cmd进入D:\bigdata\clouderapackage\hadoop2x-eclipse-plugin-master\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin,如下截图:

图片 11

然后输入以下命令即可编译成功

图片 12

然后去截图目前下拷贝出该jar包即可

图片 13

 

2.1设置hadoop JAVA_HOME

7.配置hadoop视图

打开$HADOOP_INSTALL/conf/hadoop-env.sh,配置JAVA_HOME如下图:

显示Hadoop连接配置窗口:Window–Show View–Other-MapReduce
Tools,如下图所示: 

图片 14

图片 15

2.2 设置hadoop ,hdfs,mapreduce(伪集群设置,其它参考文档)

8.配置连接Hadoop

2.2.1设置core-site.xml,如下:

查看是否连接成功,能看到如下信息,这种表示连接失败(因为刚把集群关掉),如果连接成功,会显示目录信息。 

<configuration>

图片 16

<property>

9.配置hadoop环境变量

<name>fs.default.name</name>

添加环境变量HADOOP_HOME=D:\XXX\workspace\hadoop-2.7.1
追加环境变量path内容:%HADOOP_HOME%/bin

<value>hdfs://localhost:9000/</value>

 

</property>

<property>

<!– 注意:一定要设置此项,dfs,mapreduce,tmp文件都存放此处;

否则dfs,mapreduce将默认存放在系统临时目录下(/tmp),

系统重启后,以前的所有操作将消失。–!>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/john/hadoop/</value>

</property>

</configuration>

具体配置项参考: hadoopinstal/doc/core-default.html

2.2.2 设置hdfs-site.xml,如下:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<configuration>

具体配置项参考: hadoopinstal/doc/hdfs-default.html

2.2.3设置mapred-site.xml,如下:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

<configuration>

具体配置项参考: hadoopinstal/doc/mapred-default.html

四、Format Hadoop&Run Hadoop

控制台执行命令:hadoop namenode -format

运行:start.all.sh

验证是否安装成功:

浏览器:

(localhost Hadoop Map/Reduce Administration)

(NameNode’localhost.localdomain:8020′)

五、安装Eclipse plugin

对与不同Hadoop版本,需要不同的plugin,需要自己编译,在0.20.2版本一下,的release包里都有编译好的plugin,位置在(解压目录/contrib/eclipse-plugin/)。编译plugin问题很多,如果需先赌为快,建议安装0.20.2版。直接把hadoop-*-eclipse-plugin.jar,cp到”eclipse安装目录/eclise/plugins”

注意,一定不要修改hadoop-*-eclipse-plugin.jar名称,然后重新启动eclipse即可,

查看插件如下图:

图片 17

图片 18

相关文章