Hadoop作業(yè)提交多種方案具體流程詳解

提交hadoop作業(yè)時我們遇到了許多的問題，在網(wǎng)上也查過許多的文章，有許多對hadoop提交作業(yè)原理進行分析的文章，卻總看不到對具體操作過程講解的文章，導(dǎo)致我們在eclipse提交的作業(yè)總是在eclipse虛擬的云環(huán)境中運行。慢慢摸索中，一個一個的作業(yè)提交方法被我們發(fā)現(xiàn)，呵呵，現(xiàn)在總結(jié)一下吧。
方案：
1、用命令行方式提交
2、在eclipse中提交作業(yè)
3、采用eclipse的插件實現(xiàn)項目的提交
方案一：用命令行方式提交
前提：成功搭建一個hadoop集群，或成功部署一個偽分布式，并啟動hadoop。
提交過程：
1、在eclipse中將我們的項目打成一個jar包，放到hadoop的安裝目錄下。
2、在命令行中提交作業(yè)，這里以hadoop自帶的wordcount程序為例：

（1）將統(tǒng)計文件傳到hdfs，如圖（1）

（2）向云提交作業(yè)，如圖（2）

提交作業(yè)時，如果遇到錯誤：Name node in safe mode，可采用下面的解決方法，如圖（3）

（3）列出hdfs上輸出文件夾下的文件，如圖（4）

（4）在命令行中打印統(tǒng)計好的結(jié)果，如圖（5）

（注：在命令行中提交作業(yè)是按hadoop/conf下的配置文件提交的）

方案二：在eclipse中提交作業(yè)

前提：

1、在你的電腦上安裝好eclipse，可以在linux下，也可以在windows環(huán)境下哦～，這里需要指出的是：提交作業(yè)的機器只要有hadoop的API就可以了，和提交作業(yè)的機器所處的環(huán)境無關(guān)。

2、成功搭建一個hadoop集群，或成功部署一個偽分布式，并啟動hadoop。

提交過程：

1、在eclipse下建立一個mapreduce項目，導(dǎo)入hadoop的API（hadoop/lib下的包）。

這里直接從外部導(dǎo)入hadoop中自帶的wordcount程序。為了可以直接“Run java Aplication”我修改了一點wordcount的代碼，使其輸入輸出文件的地址直接在代碼中設(shè)置。貼出代碼如下：

wordcount.java:
Java代碼  收藏代碼

    package org.apache.hadoop.examples;  
      
    import java.io.IOException;  
    import java.util.StringTokenizer;  
    import org.apache.hadoop.conf.Configuration;  
    import org.apache.hadoop.fs.Path;  
    import org.apache.hadoop.io.IntWritable;  
    import org.apache.hadoop.io.Text;  
    import org.apache.hadoop.mapreduce.Job;  
    import org.apache.hadoop.mapreduce.Mapper;  
    import org.apache.hadoop.mapreduce.Reducer;  
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
      
    public class WordCount {  
    //mapper類  
      public static class TokenizerMapper   
           extends Mapper<Object, Text, Text, IntWritable>{  
          
        private final static IntWritable one = new IntWritable(1);  
        private Text word = new Text();  
            
        public void map(Object key, Text value, Context context  
                        ) throws IOException, InterruptedException {  
          StringTokenizer itr = new StringTokenizer(value.toString());  
          while (itr.hasMoreTokens()) {  
            word.set(itr.nextToken());  
            context.write(word, one);  
          }  
        }  
      }  
        
    //reducer類  
      public static class IntSumReducer   
           extends Reducer<Text,IntWritable,Text,IntWritable> {  
        private IntWritable result = new IntWritable();  
      
        public void reduce(Text key, Iterable<IntWritable> values,   
                           Context context  
                           ) throws IOException, InterruptedException {  
          int sum = 0;  
          for (IntWritable val : values) {  
            sum += val.get();  
          }  
          result.set(sum);  
          context.write(key, result);  
        }  
      }  
       public static void main(String[] args) throws Exception {  
        Configuration conf = new Configuration();  
        
        Job job = new Job(conf, "word count");  
        job.setJarByClass(WordCount.class);  
        job.setMapperClass(TokenizerMapper.class);  
        job.setCombinerClass(IntSumReducer.class);  
        job.setReducerClass(IntSumReducer.class);  
        job.setOutputKeyClass(Text.class);  
        job.setOutputValueClass(IntWritable.class);  
        FileInputFormat.addInputPath(job, new Path("/home/hadoop/testin"));  
        FileOutputFormat.setOutputPath(job, new Path("/home/hadoop/testout"));  
          
        System.exit(job.waitForCompletion(true) ? 0 : 1);  
        
         }  
    }  
       
 如果此時你run java aplication,呵呵，你的程序只會在eclipse中虛擬的一個云環(huán)境中運行，而不會跑上云端去運行哦。我們一幫人在這個問題上糾結(jié)了好長時間。如果你想在云端運行，需要在main方法中添加幾行代碼，代碼附錄如下：

Java代碼  收藏代碼

    //在你的文件地址前自動添加：hdfs://master:9000/  
    conf.set("fs.default.name", "hdfs://master:9000/");  
    conf.set("hadoop.job.user","xiaolu");    
    //指定jobtracker的ip和端口號，master在/etc/hosts中可以配置  
    conf.set("mapred.job.tracker","master:9001");  

（注：如果你運行的不是master上也有的項目，比如自己實現(xiàn)的pagerank，那會報錯如下：）
 
Java代碼  收藏代碼

    java.lang.RuntimeException: java.lang.ClassNotFoundException: *.PRMapper  
這時會報找不到Mapper類的錯。呵呵，這個問題也卡了我們好長時間。我們分析：可能是沒有將項目打包，導(dǎo)致云上沒有mapreduce程序的緣故，我們嘗試著將pagerank項目打成.jar文件，放在項目下，將main方法作出如下修改：
Java代碼  收藏代碼

           //將Configuration類換成JobConf類  
     JobConf conf = new JobConf();  
    //設(shè)置jar  
    conf.setJar("pagerank.jar");  
這時運行java aplication ,呵呵，結(jié)果我們成功地將作業(yè)提交到了云端。（在瀏覽器中瀏覽：master:50030）

方案三：采用eclipse的插件實現(xiàn)項目的提交

前提：在eclipse中成功地安裝mapreduce插件。

不過需要提醒各位的是：hadoop-0.20.203.0版本自帶的插件不夠完整，需要作出如下修改：

1、將HADOOP_HOME/lib目錄下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5個包復(fù)制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目錄下。

2、然后，修改該包META-INF目錄下的MANIFEST.MF，將classpath修改為以下內(nèi)容：

Java代碼  收藏代碼

    Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar  
（注：這樣就完成了對hadoop-eclipse-plugin-0.20.203.0.jar的修改。如果還有其它的問題，比如Map/Reduce Locations下添加一個Location不能彈出添加對話框，這是eclipse版本的問題，我建議大家采用eclipse的版本是：eclipse-java-indigo-SR1-linux-gtk.tar.gz。）

提交過程：

1、不用手動將項目打成jar包，run on Hadoop就OK了。呵呵~