99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁(yè)精彩閱讀Hadoop作業(yè)提交多種方案具體流程詳解
Hadoop作業(yè)提交多種方案具體流程詳解
2017-12-19
收藏

Hadoop作業(yè)提交多種方案具體流程詳解

提交hadoop作業(yè)時(shí)我們遇到了許多的問(wèn)題,在網(wǎng)上也查過(guò)許多的文章,有許多對(duì)hadoop提交作業(yè)原理進(jìn)行分析的文章,卻總看不到對(duì)具體操作過(guò)程講解的文章,導(dǎo)致我們?cè)趀clipse提交的作業(yè)總是在eclipse虛擬的云環(huán)境中運(yùn)行。慢慢摸索中,一個(gè)一個(gè)的作業(yè)提交方法被我們發(fā)現(xiàn),呵呵,現(xiàn)在總結(jié)一下吧。
方案:
1、用命令行方式提交
2、在eclipse中提交作業(yè)
3、采用eclipse的插件實(shí)現(xiàn)項(xiàng)目的提交
方案一:用命令行方式提交
前提:成功搭建一個(gè)hadoop集群,或成功部署一個(gè)偽分布式,并啟動(dòng)hadoop。
提交過(guò)程:
1、在eclipse中將我們的項(xiàng)目打成一個(gè)jar包,放到hadoop的安裝目錄下。
2、在命令行中提交作業(yè),這里以hadoop自帶的wordcount程序?yàn)槔?

(1)將統(tǒng)計(jì)文件傳到hdfs,如圖(1)

(2)向云提交作業(yè),如圖(2)

提交作業(yè)時(shí),如果遇到錯(cuò)誤:Name node in safe mode,可采用下面的解決方法,如圖(3)

(3)列出hdfs上輸出文件夾下的文件,如圖(4)

(4)在命令行中打印統(tǒng)計(jì)好的結(jié)果,如圖(5)

(注:在命令行中提交作業(yè)是按hadoop/conf下的配置文件提交的)

方案二:在eclipse中提交作業(yè)

前提:

1、在你的電腦上安裝好eclipse,可以在linux下,也可以在windows環(huán)境下哦~,這里需要指出的是:提交作業(yè)的機(jī)器只要有hadoop的API就可以了,和提交作業(yè)的機(jī)器所處的環(huán)境無(wú)關(guān)。

2、成功搭建一個(gè)hadoop集群,或成功部署一個(gè)偽分布式,并啟動(dòng)hadoop。

提交過(guò)程:

1、在eclipse下建立一個(gè)mapreduce項(xiàng)目,導(dǎo)入hadoop的API(hadoop/lib下的包)。

這里直接從外部導(dǎo)入hadoop中自帶的wordcount程序。為了可以直接“Run java Aplication”我修改了一點(diǎn)wordcount的代碼,使其輸入輸出文件的地址直接在代碼中設(shè)置。貼出代碼如下:

wordcount.java:
Java代碼  收藏代碼

    package org.apache.hadoop.examples;  
      
    import java.io.IOException;  
    import java.util.StringTokenizer;  
    import org.apache.hadoop.conf.Configuration;  
    import org.apache.hadoop.fs.Path;  
    import org.apache.hadoop.io.IntWritable;  
    import org.apache.hadoop.io.Text;  
    import org.apache.hadoop.mapreduce.Job;  
    import org.apache.hadoop.mapreduce.Mapper;  
    import org.apache.hadoop.mapreduce.Reducer;  
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
      
    public class WordCount {  
    //mapper類  
      public static class TokenizerMapper   
           extends Mapper<Object, Text, Text, IntWritable>{  
          
        private final static IntWritable one = new IntWritable(1);  
        private Text word = new Text();  
            
        public void map(Object key, Text value, Context context  
                        ) throws IOException, InterruptedException {  
          StringTokenizer itr = new StringTokenizer(value.toString());  
          while (itr.hasMoreTokens()) {  
            word.set(itr.nextToken());  
            context.write(word, one);  
          }  
        }  
      }  
        
    //reducer類  
      public static class IntSumReducer   
           extends Reducer<Text,IntWritable,Text,IntWritable> {  
        private IntWritable result = new IntWritable();  
      
        public void reduce(Text key, Iterable<IntWritable> values,   
                           Context context  
                           ) throws IOException, InterruptedException {  
          int sum = 0;  
          for (IntWritable val : values) {  
            sum += val.get();  
          }  
          result.set(sum);  
          context.write(key, result);  
        }  
      }  
       public static void main(String[] args) throws Exception {  
        Configuration conf = new Configuration();  
        
        Job job = new Job(conf, "word count");  
        job.setJarByClass(WordCount.class);  
        job.setMapperClass(TokenizerMapper.class);  
        job.setCombinerClass(IntSumReducer.class);  
        job.setReducerClass(IntSumReducer.class);  
        job.setOutputKeyClass(Text.class);  
        job.setOutputValueClass(IntWritable.class);  
        FileInputFormat.addInputPath(job, new Path("/home/hadoop/testin"));  
        FileOutputFormat.setOutputPath(job, new Path("/home/hadoop/testout"));  
          
        System.exit(job.waitForCompletion(true) ? 0 : 1);  
        
         }  
    }  
       
 如果此時(shí)你run java aplication,呵呵,你的程序只會(huì)在eclipse中虛擬的一個(gè)云環(huán)境中運(yùn)行,而不會(huì)跑上云端去運(yùn)行哦。我們一幫人在這個(gè)問(wèn)題上糾結(jié)了好長(zhǎng)時(shí)間。如果你想在云端運(yùn)行,需要在main方法中添加幾行代碼,代碼附錄如下:

Java代碼  收藏代碼

    //在你的文件地址前自動(dòng)添加:hdfs://master:9000/  
    conf.set("fs.default.name", "hdfs://master:9000/");  
    conf.set("hadoop.job.user","xiaolu");    
    //指定jobtracker的ip和端口號(hào),master在/etc/hosts中可以配置  
    conf.set("mapred.job.tracker","master:9001");  

(注:如果你運(yùn)行的不是master上也有的項(xiàng)目,比如自己實(shí)現(xiàn)的pagerank,那會(huì)報(bào)錯(cuò)如下:)
 
Java代碼  收藏代碼

    java.lang.RuntimeException: java.lang.ClassNotFoundException: *.PRMapper  
這時(shí)會(huì)報(bào)找不到Mapper類的錯(cuò)。呵呵,這個(gè)問(wèn)題也卡了我們好長(zhǎng)時(shí)間。我們分析:可能是沒(méi)有將項(xiàng)目打包,導(dǎo)致云上沒(méi)有mapreduce程序的緣故,我們嘗試著將pagerank項(xiàng)目打成.jar文件,放在項(xiàng)目下,將main方法作出如下修改:
Java代碼  收藏代碼

           //將Configuration類換成JobConf類  
     JobConf conf = new JobConf();  
    //設(shè)置jar  
    conf.setJar("pagerank.jar");  
這時(shí)運(yùn)行java aplication ,呵呵,結(jié)果我們成功地將作業(yè)提交到了云端。(在瀏覽器中瀏覽:master:50030)

方案三:采用eclipse的插件實(shí)現(xiàn)項(xiàng)目的提交

前提:在eclipse中成功地安裝mapreduce插件。

不過(guò)需要提醒各位的是:hadoop-0.20.203.0版本自帶的插件不夠完整,需要作出如下修改:

1、將HADOOP_HOME/lib目錄下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5個(gè)包復(fù)制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目錄下。

2、然后,修改該包META-INF目錄下的MANIFEST.MF,將classpath修改為以下內(nèi)容:

Java代碼  收藏代碼

    Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar  
(注:這樣就完成了對(duì)hadoop-eclipse-plugin-0.20.203.0.jar的修改。如果還有其它的問(wèn)題,比如Map/Reduce Locations下添加一個(gè)Location不能彈出添加對(duì)話框,這是eclipse版本的問(wèn)題,我建議大家采用eclipse的版本是:eclipse-java-indigo-SR1-linux-gtk.tar.gz。)

提交過(guò)程:

1、不用手動(dòng)將項(xiàng)目打成jar包,run on Hadoop就OK了。呵呵~

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }