原创 linux CPU查看和清緩存
覈查服務器基本情況 查看內存使用情況 free -m 查看cpu使用情況 top #查看進程運行情況 查看磁盤以及分區情況 df -h 查看網絡情況 ifconfig 查看端口使用情況 #1.方法一 lsof -i:端口
2019-08-23 10:02:04
原创 HTML5學習之FileReader接口
HTML5學習之FileReader接口 用來把文件讀入內存，並且讀取文件中的數據。FileReader接口提供了一個異步API，使用該API可以在瀏覽器主線程中異步訪問文件系統，讀取文件中的數據。到目前文職，只有F
2019-07-30 09:34:46
原创 單點登錄的三種實現方式
單點登錄SSO（Single Sign On）說得簡單點就是在一個多系統共存的環境下，用戶在一處登錄後，就不用在其他系統中登錄，也就是用戶的一次登錄能得到其他所有系統的信任。單點登錄在大型網站裏使用得非常頻繁，例如像阿里巴巴這樣的網站，在
2019-07-30 09:34:45
原创 commons-io之FileUtils、IOUtils
參考博文：https://blog.csdn.net/justry_deng/article/details/93616705
2019-07-30 09:34:45
原创 權限管理--常見模塊設計
文章目錄1.基於 RBAC（Role-based Access Control）權限訪問控制2.最簡單版本3.用戶組模式4.權限分類5.完整版 1.基於 RBAC（Role-based Access Control）權限訪問控制 也就
2018-12-23 15:08:37
原创 Spark運行在yarn集羣上的兩種提交方式
文章目錄Spark集羣簡單介紹yarn集羣的兩種提交方式client執行原理執行流程cluster提交命令（兩種）執行原理執行流程 Spark集羣簡單介紹 如前面幾篇博客介紹的 Spark集羣分爲四種： local stand al
2018-11-26 00:15:27
1
原创 Spark的Shuffle過程
文章目錄1. Spark Shuffle概述2. Shuffle的作用3. Spark Shuffle的運行時機4. Spark Shuffle的運行機理及圖解MR Shuffle過程4.1 HashShuffle4.1.1 Hash
2018-11-20 00:26:38
原创 任務調度+資源調度整合（學習筆記）
文章目錄任務調度+資源調度大體流程問題思考Excutor的默認機制輪訓啓動爲什麼要用輪訓啓動這種設計模式？輪訓方式啓動Executor的公式Works集合爲什麼要使用Hashset？Driver進程是怎麼啓動起來的？掙扎的（掉隊的）任
2018-11-20 00:26:38
原创 kafka集羣搭建
文章目錄集羣規劃集羣搭建1. 下載kafka安裝包2. 修改配置文件3. 問題總結 集羣規劃 主機名 NameNode1 NameNode2 DataNode ZKFC JNN RS NodeManager zookeeper
2018-11-20 00:26:38
原创 資源調度（學習筆記）
文章目錄資源調度流程資源調度原理workers集合waitingDriver集合waitingApps集合Schedule方法資源調度源碼分析資源調度三大集合源碼解析一 schedule方法1.1 Random.shuffle是一個j
2018-11-14 00:49:18
原创 高可用的Spark集羣搭建
文章目錄1，集羣介紹2，普通Spark集羣介紹3，高可用Spark集羣介紹4，高可用Spark集羣的搭建流程 1，集羣介紹 在之前Spark集羣搭建博客中介紹了Spark的四種運行模式以及搭建。 local standalone y
2018-11-14 00:49:18
7
原创 Spark的任務調度（學習筆記一）
文章目錄一、spark任務調度知識點1、Spark中的一些專業術語1.1、任務相關1.2、資源相關2、RDD的依賴關係2.1、窄依賴2.2、寬依賴2.3、寬窄依賴的作用2.4、爲什麼我們需要把job切割成stage？二、任務調度流程三
2018-11-07 00:17:29
4
原创 Scala學習筆記
文章目錄Scala介紹Scala六大特徵Scala的安裝與配置Scala基礎1，數據類型2，變量與常量的聲明3，類和對象4，if else的使用5，for ,while,do…while的使用6，創建for循環7，創建多層for循環8
2018-11-04 00:26:58
1
原创 Spark學習筆記
文章目錄Spark簡介Spark的歷史spark開發者spark比MR快的原因Spark的四種運行模式開發Spark的語言RDD（彈性分佈式數據集）RDD簡介RDD五大特性RDD的三種算子Transformation類算子Action
2018-11-04 00:26:58
1
原创 Spark集羣搭建
文章目錄Spark的四種運行模式standalone 集羣的搭建standalone集羣的大體框架standalone集羣步驟1，在node01節點上下載spark安裝包2，解壓spark-1.6.3-bin-hadoop2.6.tg
2018-11-04 00:26:58