一.spark学习初体验之SparkContext

     我是初级菜鸟一枚,写博客也是为了自己复习巩固一下,同时记录一下自己学习spark的过程,希望和大家一起交流成长(希望大家千万别喷我,不然我会丧失继续写下去的勇气的哭)。

    首先写一下我个人对spark运行架构原理的理解。

    首先最重要的一步在driver上构建我们的SparkContext。在这一步主要做了四件事:

    (1)创建了DAGScheduler

             DAG是基于用户的transformation操作和stage阶段划分算法,将一个spark任务分解成若干个stage(stage阶段划分 算法在后面的文章中我会详细的说一下),然后为每一个stage构建一个taskset,并交由TaskScheduler(其实质上就是在逻辑上将spark任务进行拆分,用户分布式计算)

    (2)创建TaskScheduler

            其实TaskScheduler是在DAGScheduler之前进行创建的。其主要用户接收DAGScheduler分配的taskset,通过网络传递给对应的executor(这样描述其实是有一定问题的,缺少了中间一个重要的组件)

    (3)SchedulerBackend

            其实这个东西是在TaskScheduler内进行初始化的,但是我感觉他太重要了,所以就单独将其列出来。在后续的的文章中也会对其进行详细的说明。

    (4)SparkUI

            这个组件就是为了能让我们对正在运行的spark任务能够在页面中进行一个直观的监测。

    好了,第一篇就写这么多把,感觉这四件事每一个单独拿出来都能写太多了,还是在以后的文章中慢慢的说明吧,哈哈哈哈

    有写的不对的地方,希望读者能指出来,共同进步大笑

        

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章