2016 第2讲 Scala面向对象彻底精通及Spark源码阅读

2016/1/2晚7点 准时参加了王家林老师的3000门徒的课程,

学习了Scala中的类、Object实战和Scala的抽象类、接口实战等内容。

相比前一讲第二讲的内容更深入了,难度更高了,如果初学者的话课后真需要好好消化,

包括自己之前看过也有必要把王老师以前的51CTO上的视频再翻出来看看,加以巩固。

关于第二讲的作业,读懂Spark Context和RDD至少70%代码的源码。

SparkContext 源码阅读

RDD 源码阅读


由于时间的关系,自己没有很仔细地阅读,只是看了看快速扫了下这两个类的内容,的确如老师讲的,基本能看懂70%以上的语法。
如果不是作业,或许自己真不会提前看源码。

阅读之后不难发现,源码中的英文解释,其实就是许多书中提到的知识点注意点,今后自己也会好好地细读这些Spark源码的。

这边简单地摘录了些自己的笔记,如下

//它是Spark功能的主要入口点。
//一个SparkContext代表连接到一个Spark集群,
//能在集群上创建 RDDs,累加器,广播变量。
//每个JVM只有是一个可以Active的。建新的之前要stop()活动的SparkContext.
class SparkContext(config: SparkConf)

// [spark]是一种保护的作用域,stopped 变量在当前spark包内是可见的,在包spark外不可见
private[spark] val stopped: AtomicBoolean = new AtomicBoolean(false)

……





 



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章