hadoop1.0.4 eclipse插件编译

转载自：http://blog.csdn.net/weijonathan/article/details/8282661

一、所需工具

eclipse-java-juno-SR1-win32.zip

jdk-6u37-linux-x64.bin

apache-ant-1.8.4-bin.zip

hadoop-1.0.4

二、Ant安装

将Ant解压放在合适目录：比如D盘。

配置Ant环境变量，在Path中添加：F:\hadoop\ant\bin。

控制台中输入echo %PAHT% 使环境变量生效。（没必要重启）

三、编译hadoop-eclipse-plugins-1.0.4.jar

1、解压hadoop

目录为 F:\hadoop\hadoop-1.0.4

2、进入F:\hadoop\hadoop-1.0.4\src\contrib目录。将build-contrib.xml复制到 F:\hadoop\hadoop-1.0.4\src\contrib\eclipse-plugin目录下。

3、修改build-contrib.xml文件

将hadoop.root改为hadoop解压目录

在下面添加如下两行：Eclipse安装根目录，和hadoop版本

具体位置需要改为你的，注意location里的斜杠方向

4、修改build.xml：找到<import file="../build-contrib.xml"/>，改为<import file="build-contrib.xml"/>

5、在F:\hadoop\hadoop-1.0.4\src\contrib\eclipse-plugin 目录下创建lib目录，并将以下jar包复制进来：

commons-configuration-1.6.jar、commons-httpclient-3.0.1.jar、commons-lang-2.4.jar、jackson-core-asl-1.8.8.jar、

jackson-mapper-asl-1.8.8.jar

6、在F:\hadoop\hadoop-1.0.4下创建build文件夹，将hadoop-core-1.0.4.jar复制进来

最近因为windows权限问题搞了好久的插件问题，像0700BUG权限认证问题。

[plain]view plaincopy 
    
 ERROR security.UserGroupInformation:PriviledgedActionException as:admin cause:java.io.IOException:Failed to set permissions of path:\home\hadoop\hadoop-1.0.4\data\data\mapred\staging\admin1107758487\.staging to 0700  
     Execption in threa "main" java.io.IOException:Failed to set permissions of path:\home\hadoop\hadoop-1.0.4\data\data\mapred\staging\admin1107758487\.staging to 0700  
     at org.apache.hadoop.fs.FileUtil.checkRetrunVlues（FileUtil.java:682）  
     at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java.655)  

这边要解决0007问题，hadoop-core-1.0.4.jar要覆盖掉里面的FileUtil的class文件，再打包一个，这里提供一个我的解决0007问题的hadoop-core-1.0.4.jar 包。先把之前的hadoop-core-1.0.4.jar修改为hadoop-core-1.0.4.jar_back,然后再把我这边提供的hadoop-core-1.0.4.jar放到hadoop目录下，然后拷贝这个hadoop-core-1.0.4.jar进build的目录。

下载地址：解决0700的 eclipse 插件 http://download.csdn.net/detail/weijonathan/4919830

解决0700的hadoop-core-1.0.4.jar

http://download.csdn.net/detail/weijonathan/4919824

7、在F:\hadoop\hadoop-1.0.4\build目录下创建F:\hadoop\hadoop-1.0.4\build\ivy\lib\Hadoop\common目录并将

commons-cli- 1.2.jar复制到该目录下

8、修改build.xml文件。目录：F:\hadoop\hadoop-1.0.4\src\contrib\eclipse-plugin

1）、在<target name=”jar” depends=”compile” unless=”skip.contrib”>标签底下的

[plain]view plaincopy 
    
 <copy file=”${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar” todir=”${build.dir}/lib” verbose=”true”/>后面添加一下行  
         <copy file=”${root}/lib/commons-configuration-1.6.jar” todir=”${build.dir}/lib” verbose=”true”/>  
   
          <copy file=”${root}/lib/commons-httpclient-3.0.1.jar” todir=”${build.dir}/lib” verbose=”true”/>  
   
          <copy file=”${root}/lib/commons-lang-2.4.jar” todir=”${build.dir}/lib” verbose=”true”/>  
   
           <copy file=”${root}/lib/jackson-core-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>  
   
           <copy file=”${root}/lib/jackson-mapper-asl-1.8.8.jar” todir=”${build.dir}/lib” verbose=”true”/>

2）、在<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">标签中的<javac>标签中添加属性includeantruntime --防止编译过程中提示includeantruntime 属性未设置问题

[html]view plaincopy 
    
 <target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">  
     <echo message="contrib: ${name}"/>  
     <javac  
      encoding="${build.encoding}"  
      srcdir="${src.dir}"  
      includes="**/*.java"  
      destdir="${build.classes}"  
      debug="${javac.debug}"  
      includeantruntime="on">  
      <classpath refid="classpath"/>  
     </javac>  
   </target>  

3）、在build.xml中添加-防止问题编译错误，提示“软件包org.apache.hadoop.fs 不存在“

[html]view plaincopy 
    
 <span style="white-space:pre">  </span><path id="hadoop-jars">  
                <fileset dir="${hadoop.root}/">  
                     <include name="hadoop-*.jar"/>  
                </fileset>   
      <span style="white-space:pre"> </span></path>  

在<path id="classpath">中添加：<path refid="hadoop-jars"/>

4）、修改F:\hadoop\hadoop-1.0.4\src\contrib\eclipse-plugin\META-INF的MANIFEST.MF文件

[plain]view plaincopy 
    
 Bundle-ClassPath: classes/,  
   lib/hadoop-core.jar,  
  lib/commons-cli-1.2.jar,  
  lib/commons-configuration-1.6.jar,  
   lib/commons-httpclient-3.0.1.jar,  
   lib/commons-lang-2.4.jar,  
  lib/commons-jackson-core-asl-1.8.8.jar,  
   lib/commons-jackson-mapper-asl-1.8.8.jar  