原创 Spark2.0 + Hadoop2.7.2 + Centos7 集羣部署
Centos7 集羣部署 到官網下載 virtualbox安裝文件 https://www.virtualbox.org/wiki/Downloads到官網下載centos7鏡像文件 http:/
2020-05-30 20:14:07
原创 Spring beanFactory簡介
beanFactory 是spring IoC中一個最基本的容器，位於繼承圖最頂端的一個接口。spring IoC容器的接口/類設計圖如下所示(注：該圖只包含部分接口或子類)： 圖 1.1（圖片來源於htt
2020-05-30 20:13:56
原创 創建Executor
當sparkContext被創建後，worker就會分配executor，這個過程如下圖所示： 如上圖所示，executor要經過很多個步驟纔會被創建。 SparkContext中有一個叫做createTas
2018-08-24 14:37:38
原创 DAGScheduler 源碼走讀
要理解DAGScheduler，首先就得了解RDD的生命週期。RDD是什麼？且看它的全稱 Resilient Distributed Datasets，彈性式分佈數據集。沒錯，RDD是一種數據結構，這種數據結構自帶了很多方法，這些方法可
2018-08-24 14:37:38
4
原创 深入理解RDD
RDD最基本的五個特徵 RDD 即 Resilient Distributes Dataset, 是spark中最基礎、最常用的數據結構。其本質是把input source 進行封裝，封裝之後的數據結構就是RDD
2018-08-24 14:37:38
原创 Spark2.0 + Hadoop2.7.2 + Centos7 集羣部署<一>
Centos7 集羣部署 到官網下載 virtualbox安裝文件 https://www.virtualbox.org/wiki/Downloads到官網下載centos7鏡像文件 http:/
2018-08-24 14:37:38
3
原创 Maven編譯報permGen錯，解決辦法之一
終端輸入export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
2018-08-24 14:37:36
3
原创 Mac 10.10.2編譯Hadoop－2.6.0-src
樓主寫過一篇博客《Ubuntu14.04 編譯 hadoop2.6.0源碼以及把源碼導入eclipse》 ，基於這篇文章以及網上其他博主的博客，我在Mac 10.10.2上面編譯Hadoop－2.6.0-
2018-08-24 14:37:27
1