原创 Docker——安裝、常用命令、生成鏡像（Dockerfile）
文章目錄Docker——安裝、常用命令、生成鏡像（Dockerfile）1. Docker 安裝2. Docker 常用命令2.1 基礎信息類2.2 鏡像-基礎命令2.3 容器-基礎命令2.4 容器與宿主機（拷貝、端口映射、路徑映
2020-04-18 18:18:10
原创 Docker——部署（tomcat、nginx、負載均衡、常見問題）
文章目錄Docker——部署（tomcat、nginx、負載均衡、常見問題）Docker + Tomcat （基礎）Docker + Nginx （基礎）Docker + Nginx 文檔服務Docker + Nginx + To
2020-04-18 18:18:10
原创 Spark源碼剖析——SparkSubmit提交流程
文章目錄Spark源碼剖析——SparkSubmit提交流程當前環境與版本前言Shell命令部分參數解析 MainSparkSubmitStandalone模式的ClientAppON YARN模式的YarnClusterAppl
2020-03-13 03:16:59
1
原创 TensorFlow2 學習——CNN圖像分類
文章目錄TensorFlow2 學習——CNN圖像分類1. 導包2. 圖像分類 fashion_mnist3. 圖像分類 Dogs vs. Cats3.1 原始數據3.2 利用Dataset加載圖片3.3 構建CNN模型，並訓練
2020-03-11 16:33:50
20
原创 TensorFlow2 學習——圖像分類
文章目錄TensorFlow2 學習——圖像分類導包原始數據數據作圖數據劃分與標準化構建模型並訓練模型評估與預測其他：回調Callback的使用 TensorFlow2 學習——圖像分類 導包 import matplotlib.
2020-03-04 11:35:52
原创 Spark源碼剖析——Master、Worker啓動流程
文章目錄Spark源碼剖析——Master、Worker啓動流程當前環境與版本1. 前言2. Master啓動流程2.1 Master的伴生對象2.2 Master3. Worker啓動流程3.1 Worker的伴生對象3.2 W
2020-03-01 17:49:57
1
原创 volatile在JVM內存交互中的操作
文章目錄volatile在JVM內存交互中的操作JMMJVM內存交互操作volatile在其中的操作示例-非volatile修飾的變量賦值操作示例-volatile修飾的變量賦值操作（lock/unlock） volatile在J
2020-02-22 10:34:55
原创 Spark代碼可讀性與性能優化——示例九（數據傳輸與解析）
文章目錄Spark代碼可讀性與性能優化——示例九（數據傳輸與解析）1. 前言2. Kyro序列化3. csv解析4. json解析5. 其他 Spark代碼可讀性與性能優化——示例九（數據傳輸與解析） 1. 前言 通常數據傳輸與
2020-02-22 10:34:55
原创 Flink示例——Source
文章目錄Flink示例——Source版本信息Mavan依賴Collection/Elements Source 示例Text Source 示例Socket Source 示例Kafka Source 示例自定義 Source
2020-02-22 10:34:55
原创 Akka事件驅動——模擬Spark註冊、心跳
文章目錄Akka事件驅動——模擬Spark註冊、心跳Akka簡介Actor事件驅動示意圖Spark註冊、心跳模擬 Akka事件驅動——模擬Spark註冊、心跳 Akka簡介 對於Netty封裝的網絡通信框架 基於事件驅動模型：異
2020-02-22 10:34:55
原创 Spark優化總結（二）——代碼編寫
文章目錄Spark優化總結（二）——代碼編寫1. 前言2. 選擇合理的數據結構3. Java容器與Scala容器互轉4. 關注經常執行的代碼塊5. Spark API6. 廣播的問題7. 數據傳輸與解析8. 異常數據處理9. 數據
2020-02-22 10:34:55
原创 Spark代碼可讀性與性能優化——示例十（項目結構）
文章目錄Spark代碼可讀性與性能優化——示例十（項目結構）前言安排好每個包下的類爲Spark應用設計一個模板基類 Spark代碼可讀性與性能優化——示例十（項目結構） 前言 安排好每個包下的類 安排好各個包的功能，可以方便查看
2020-02-22 10:34:55
原创 推薦算法——ALS模型算法分析、LFM算法
文章目錄推薦算法——ALS模型算法分析、LFM算法簡介ALS算法流程分析LFM梯度下降算法-示例 推薦算法——ALS模型算法分析、LFM算法 簡介 ALS(Alternating Least Squares)，即交替最小二乘法，
2020-02-22 10:34:55
原创 Flink示例——State、Checkpoint、Savepoint
文章目錄Flink示例——State、Checkpoint、Savepoint版本信息Mavan依賴State Backend 狀態後端State 示例Checkpoint 示例Savepoint 示例 Flink示例——Stat
2020-02-22 10:34:55
原创 Spark優化總結（三）——調參
文章目錄Spark優化總結（三）——調參前言簡單示例常用參數JVM調參 Spark優化總結（三）——調參 前言 不要期待修改一個參數能夠像魔法一樣立馬得到神奇的好效果！（某些時候效果確實很棒^_^）你應當把參數看作一道菜中的調味
2020-02-22 10:34:55