原创 (七)Spark源碼理解之TaskScheduler----part5
3.4 SchedulerBackend的不同實現方式 Spark的部署模式不同決定了其資源管理方法也會有所不同，即SchedulerBackend也會有不同的實現方式，首先介紹SchedulerBackend的兩種主要的實現方式或者說子
2020-02-26 14:49:05
原创 (九)Spark應用程序在不同部署模式下的運行方式
我們知道Spark可以運行在不同模式下，這樣的話當我們提交程序給Spark集羣時就要修改相應的參數設置，在Spark學習的最後，我總結了幾種常用模式下的運行命令(在Linux下運行) PS:下文提到過的jar包是這樣來的，我是在
2020-02-26 14:49:05
原创 實習整理(一)
找實習，找工作，今年就忙了這兩件事，過程比較揪心，但慶幸結果還是比較滿意的。。。 找實習的時候由於從來沒有過類似的經驗，其實浪費了很多機會，特別是面阿里的時候，面試官已經給了提醒，可是自己卻是後知後覺，”失敗乃成功之母“，這句話說得還是挺
2020-02-26 14:49:05
原创 (七)Spark源碼理解之TaskScheduler----part2
2. TaskSetManager TaskSetManager任務集管理器，負責管理爲stage生成的任務集，是任務調度中比較重要的一個部分，包括如何查找任務，對TaskSchedulerImpl的任務分配做出迴應，它有幾個重要的變量：
2020-02-26 14:49:05
原创 Spark---ending
哈哈。。。終於把Spark這部分的源碼寫完了，講得這幾個部分中當然會有很多不足或者說不正確的地方，因此希望各位網友積極指正。。。學習Spark純屬個人興趣愛好，學習的過程中也是很枯燥的，特別是在閱讀源碼的過程中，同時因爲Spark剛剛興起
2020-02-26 14:49:05
原创 MathType+Originlab的有用知識
最近，一直忙着搞畢業論文，都好幾個月沒管博客，剛打開博客一看，哇，可以啊，閱讀量有了“質的飛躍”。。。哈哈。畢業論文真是一件令人心酸+頭疼+苦盡甘來的事情，我想這會是我一輩子寫的字數最多的一篇“文章”了吧。。。這次畢業論文畫圖採用的是Or
2018-09-03 14:10:18
原创 實習整理(十五)
上篇博文講到了鏈表的相關操作，接下來講講有關樹的相關知識，畢竟鏈表和樹是筆試，面試的重點，這裏只講幾種類型樹的基本概念而已。。。 二叉查找樹（B樹） 查找樹的定義非常簡單，一句話就是左孩子比父節點小，右孩子比父節點大，還有一個特性
2018-09-03 14:10:18
3
原创 實習整理(六)
csdn的編輯器再次讓我無語，已無力吐槽。。。 36.C++中無論類是通過子類還是自身進行聲明，都是先調用自身的構造函數，再調用子類的構造函數，釋放時如果自身的析構函數不爲虛函數，則只調用自身的析構函數，否則先調用子類的析構函數再調用類
2018-09-03 14:10:18
原创 實習整理(七)
43.int a=2; int & b=a;//正確 int & c=2;//錯誤 const int & d=2;//正確 44.a++只能作爲右值，++a既可以作爲左值，也可以作爲右值，++a的效率比a++高
2018-09-03 14:10:18
原创 實習整理(八)
部分題目的答案和解析參考網上的資料和師兄們的答案，不保證百分之百正確，如果有錯誤，希望各位“博友”積極指正。。。 1.void func(char str[50]) { printf("A %d B %
2018-09-03 14:10:18
原创 python+linux後續
之前本來一直想利用PyCharm+Spark+Python的環境，千辛萬苦好像可以正常運行Spark應用程序了，但是臨門一腳，居然出現編碼的問題，能力有限，實在搞不定了，只能在Linux下搞了，好吧，Linux的Hadoop和Spark環
2018-09-03 14:10:18
2
原创 實習整理(十六)
感覺關於實習準備的這部分已經寫得差不多了，沒有啥可寫的了，寫下卡特蘭數吧，這個在筆試中也有涉及到。。。 定理：n個+1和n個-1構成的2n項，其部分和滿足大於等於0的數列其個數則爲第n個卡特蘭數 卡塔蘭數的一般項公式爲 ： 總結了一下
2018-09-03 14:10:18
原创 實習整理(十四)
前面一篇博文簡要地講了下我在筆試準備過程中碰到過的有關字符串的題目，現在再提下有關鏈表的題目 做有關鏈表的題目最好畫圖，這樣有助於理解 1、單向鏈表逆序 2、有序鏈表合併 3、雙向鏈表刪除結點 4、尋找鏈表中間結點 5、判斷一個鏈表是
2018-09-03 14:10:10
原创 實習整理(十一)
6.最長公共子序列和最長公共子串都可以用動態規劃的方法來解決，遞歸的方式如下： 最長公共子序列 L[i][j] = (s[i]==t[j]) ? L[i-1][j-1] + 1:max(L[i-1][j],L[i][j-1]) L
2018-09-03 14:10:10
1
原创 實習整理(十二)
關於實習筆試，面試這部分感覺都寫得差不多了，剩下一些零零碎碎的知識，還是繼續寫上吧。。。 關於字符串處理： 1、字符串反轉reverse 2、字符串複製memcpy 3、內存複製memcpy 4、字符串長度strlen 5、字符串連
2018-09-03 14:10:09