2016 第2講 Scala面向對象徹底精通及Spark源碼閱讀

2016/1/2晚7點 準時參加了王家林老師的3000門徒的課程,

學習了Scala中的類、Object實戰和Scala的抽象類、接口實戰等內容。

相比前一講第二講的內容更深入了,難度更高了,如果初學者的話課後真需要好好消化,

包括自己之前看過也有必要把王老師以前的51CTO上的視頻再翻出來看看,加以鞏固。

關於第二講的作業,讀懂Spark Context和RDD至少70%代碼的源碼。

SparkContext 源碼閱讀

RDD 源碼閱讀


由於時間的關係,自己沒有很仔細地閱讀,只是看了看快速掃了下這兩個類的內容,的確如老師講的,基本能看懂70%以上的語法。
如果不是作業,或許自己真不會提前看源碼。

閱讀之後不難發現,源碼中的英文解釋,其實就是許多書中提到的知識點注意點,今後自己也會好好地細讀這些Spark源碼的。

這邊簡單地摘錄了些自己的筆記,如下

//它是Spark功能的主要入口點。
//一個SparkContext代表連接到一個Spark集羣,
//能在集羣上創建 RDDs,累加器,廣播變量。
//每個JVM只有是一個可以Active的。建新的之前要stop()活動的SparkContext.
class SparkContext(config: SparkConf)

// [spark]是一種保護的作用域,stopped 變量在當前spark包內是可見的,在包spark外不可見
private[spark] val stopped: AtomicBoolean = new AtomicBoolean(false)

……





 



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章