scala 在 spark 中操作 hdfs

問題場景：在編寫spark程序時，輸出目錄存在會造成spark任務失敗。處理方法有2種，第一利用腳本方式，在主任務之上加層處理，第二，在spark任務中先處理掉目錄。spark支持的可編程語言有Scala、Python、Java。其中Python無需編譯打包，十分方便，但是貌似沒有處理hdfs系統的Python接口，而Python的執行腳本語言是異步於主任務的，換言之，主任務與腳本任務的執行完成順序是不確定的。而Java語言貌似不是主流的spark語言。其中最完善的就是原生的Scala語言。所以在Scala中完成對hdfs的控制，及對主任務計算方式的控制，是spark任務最優雅的方式。

所需jar包： spark-assembly-1.2.1-hadoop2.4.0.jar 

實例代碼：

package com.util

import java.io.BufferedInputStream
import java.io.File
import java.io.FileInputStream
import java.io.InputStream

import org.apache.hadoop.conf._
import org.apache.hadoop.fs._
import org.apache.hadoop.fs.Path._

object ScalaHdfs {
  
    def ls(fileSystem:FileSystem,path:String)= {
      println("list path:"+path)
      val fs = fileSystem.listStatus(new Path(path))
      val listPath = FileUtil.stat2Paths(fs)
      for( p <- listPath) {
        println(p)
      }
      println("----------------------------------------")
    }
  
    def main(args: Array[String]) {
      val conf = new Configuration()
      println(conf)
      val fileSystem = FileSystem.get(conf)
      ls(fileSystem,"/")
    }
}

輸出結果：

[hadoop@localhost spark-1.2]$ ./spark-submit --class com.util.ScalaHdfs  ScalaHdfs.jar
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Configuration: core-default.xml, core-site.xml
list path:/
hdfs://localhost:9000/aaa
hdfs://localhost:9000/bbb
hdfs://localhost:9000/ccc
hdfs://localhost:9000/ddd
hdfs://localhost:9000/count
hdfs://localhost:9000/hbase
hdfs://localhost:9000/tmp
hdfs://localhost:9000/user
----------------------------------------

參考：http://m.blog.csdn.net/blog/linger2012liu/43314651