JobTracker

問:在eclipse中的寫的代碼如何提交作業到JobTracker中的哪?
答:(1)在eclipse中調用的job.waitForCompletion(true)實際上執行如下方法
        connect();
        info = jobClient.submitJobInternal(conf);
    (2)在connect()方法中,實際上創建了一個JobClient對象。
       在調用該對象的構造方法時,獲得了JobTracker的客戶端代理對象JobSubmissionProtocol。
       JobSubmissionProtocol的實現類是JobTracker。
    (3)在jobClient.submitJobInternal(conf)方法中,調用了
        JobSubmissionProtocol.submitJob(...),
        即執行的是JobTracker.submitJob(...)。
1.Hadoop的數據類型要求必須實現Writable接口。
2.java基本類型與Hadoop常見基本類型的對照
    Long    LongWritable
    Integer    IntWritable
    Boolean    BooleanWritable
    String    Text
    問:java類型如何轉化爲hadoop基本類型?
    答:調用hadoop類型的構造方法,或者調用set()方法。
        new LongWritable(123L);
    問:hadoop基本類型如何轉化爲java類型?
    答:對於Text,需要調用toString()方法,其他類型調用get()方法。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章