原创 Hive歸檔分區表
背景 Hive可以把分區表的分區歸檔成HAR文件，也可以把歸檔完的分區進行解壓。 以下步驟基於Hadoop2.8.5和Hive2.3.5 步驟 1、把hadoopHome/share/hadoop/tools/lib/hadoop-arc
2020-06-22 06:41:39
原创 圖算法之Weisfeiler-Lehman核
背景 在圖分類的核算法中，Weisfeiler-Lehman(威斯費勒-萊曼)核是比較經典的核算法，這裏我對它做一些整理。 參考文獻Weisfeiler-Lehman Graph Kernels 定義 威斯費勒-萊曼圖 在文章Weisfe
2020-06-22 06:41:39
1
原创 Windows下Sqoop中關於分隔符的問題
背景 Sqoop是用來連接數據庫和HDFS或hive的工具，由於表在數據庫(以Mysql爲例)和hive中的默認分隔符不同，因此如果不指定分隔符的話可能會導致很多問題，比如把Mysql中的數據導入到hive中，結果hive表裏全是null
2020-06-22 06:41:39
原创 Docker學習筆記之阿里雲遠程鏡像
背景 我們可以像使用github一樣使用阿里雲遠程鏡像庫，進行鏡像的推送、拉取等操作 使用方法 把本地鏡像推送到阿里雲 1）、登錄阿里雲開發者平臺 http://dev.aliyun.com，然後點擊控制檯，搜索容器鏡像服務 2）、創建鏡
2020-06-22 06:41:39
原创 JVM學習之垃圾回收和垃圾回收器
目錄 背景 概述 垃圾定義 爲何需要GC 早期垃圾回收 Java的垃圾回收機制 相關算法 標記階段：引用計數算法 標記階段：可達性分析算法 對象的finalization機制 使用MAT進行GC Roots溯源 清除階段：標記-清除算法
2020-06-15 10:19:32
原创 JVM學習之直接內存
背景 繼續整理JVM的學習筆記 概述 直接內存不是虛擬機定義的內存空間，是直接向系統申請的內存空間，來源於NIO，通過存在堆中的DirrectByteBuffer操作Native內存。 讀寫性能高，對於IO頻繁的場景可以使用NIO。 p
2020-06-08 13:09:41
原创 JVM學習筆記之StringTable
目錄 背景 String基本特性 不可變性 值傳遞 String的內存分配 String的基本操作 字符串拼接操作 intern()的使用 StringTable的垃圾回收 G1中的String去重操作 結語 背景 學了半天JVM，是時候
2020-06-08 13:09:41
原创 JVM學習筆記之執行引擎
目錄 背景 概述 java代碼編譯和執行過程 解釋器與JIT編譯器 靜態提前編譯器AOT(Ahead Of Time) JIT編譯器 方法調用計數器和回邊計數器 方法調用計數器 回邊計數器 設置程序執行方式 server模式和client
2020-06-08 13:09:41
原创 JVM學習之對象的實例化、內存佈局與訪問定位
目錄 背景 對象實例化 對象實例化的幾種方式 字節碼角度查看對象創建過程 對象實例化的步驟 對象的內存佈局 對象的訪問定位 背景 上週跟着做尚硅谷的電商數倉，好懸把我寫吐了，JVM學習筆記因此一直沒有更新，現在補上.. 對象實例化 對象實
2020-06-08 13:09:41
1
原创 JVM學習筆記之方法區
目錄 背景 棧、堆、方法區三者間的交互關係 方法區的理解 設置方法區大小與OOM 方法區的內部結構 方法區使用舉例 方法區演進細節 方法區的GC 總結 背景 整理一下關於JVM方法區的學習筆記，基於jdk8，所以方法區的實際實現都是堆中的
2020-05-22 05:40:33
原创 JVM學習筆記之堆
目錄 背景 核心概述 設置堆大小、OOM問題 年輕代與老年代 對象分配過程 Minor GC、Major GC、Full GC 堆空間分代思想 內存分配策略 TLAB 堆參數設置小結 堆不是分配對象的唯一選擇 結語 背景 整理一下這幾天學
2020-05-22 05:40:33
原创 Azkaban在CentOS7下安裝和使用
背景 這兩天實在無聊...只能靠讀論文、做筆記、學框架、打遊戲消磨時間，想找個人說話都費勁，沒想到在家比在學校還憋悶.. 閒言少敘書歸正傳，整理一下前幾天學習Azkaban的筆記，操作環境依舊是CentOS7，前提環境是裝了jdk8，如果
2020-05-10 04:37:37
1
原创 CentOS7下oozie調度任務案例
背景 以官方例子爲例，記錄下如何使用oozie調度任務，首先進入oozie的解壓根目錄 調度普通任務 1、解壓oozie根目錄裏的oozie-examples.tar.gz # tar -zxvf oozie-examples.tar.
2020-05-08 12:59:59
原创 CentOS7下oozie的部署與運行
背景 整理下上個月學習CentOS7下部署運行oozie的筆記，裏面用到的oozie和hadoop都是cdh版的 安裝部署Hadoop 1、新建cdh文件夾，把hadoop和oozie的壓縮包解壓到cdh文件夾裏面 mkdir cdh
2020-05-06 21:37:35
原创 goWeb學習筆記完整版
背景 整理一下上個月學習用go語言搭建服務器的筆記。 本文基於go1.14，文本編輯器採用vscode1.43.2，如果對go語言不甚瞭解，可以參見我的博客go語言基礎學習筆記完整版 監聽端口號，響應客戶端請求 package main
2020-04-14 17:46:19