原创 SpringBoot學習筆記(2) - 使用Spring Initializer快速創建Spring Boot項目(推薦⭐️⭐️⭐️⭐️)

文章目錄特別注意 :一. 快速創建項目1. 選擇 Spring Initializer 創建2. 設置組織名和包名3. 選擇需要的模塊依賴二. 測試項目1.編寫 HelloWorld 測試三. SpringBoot 目錄詳解1.

原创 Kafka學習筆記(2) - Kafka 常用命令行操作總結

總結說明 📖 因爲學習kafka的過程中經常會用到一些命令, 但是有時候kafka我也不經常使用,命令就有可能忘記, 這裏記錄下來, 以後忘了可以再查, 這裏需要說明的是 因爲我用的CDH版的 kafka, 所以版本比較低, 我

原创 Hadoop踩坑筆記 - NodeManager from sht-sgmhadoopdn-04 doesn't satisfy minimum allocations, Sendin

報錯情況 啓動時 出現 Nodemanager 無法啓動, 查看日誌 發現報錯如下 : org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDO

原创 SpringBoot踩坑筆記(1) - 啓動SpringBoot 報錯Apache Tomcat Native library is installed, while Tomcat require

報錯詳情 剛開始學習 SpringBoot ,第一次啓動SpringBoot的時候發現 報了下面的錯誤, 看報錯應該是 缺少 tomact 某個庫文件, 就百度了下這個報錯, 找到了解決方案, 這裏記錄下 ERROR 15136

原创 Spark學習筆記(5) - Spark連接HBase進行交互 - Get / Put 數據

文章目錄一. SparkRDD 與 HBase的交互1.1 依賴配置以及注意事項1.1.1 特別注意1.1.2 POM 文件1.1.2 注意事項1.2 獲取數據 - Get 的使用1.3 添加數據 - put 的使用1.4 刪除數

原创 Java 學習筆記 - SimpleDateFormat 日期格式參照表 總結

總結 G Era標誌符 Text AD y 年 Year 1996; 96 M 年中的月份 Month July; Jul;07 w 年中的週數 Number 27 W 月份中的週數 Number 2 D 年中的天數 Numbe

原创 Flink學習筆記(1) - Flink1.9 Standalone Cluster環境搭建

Standalone搭建教程 📖 介紹 Standalone 類似於Spark的Standalone模式 使用自身的資源管理器, Flink 可以在很多種資源管理器上運行 比如 Yarn K8s 等 1.下載 Flink wget

原创 Kafka學習筆記(1) - CDH6.2 集羣安裝Kafka服務步驟以及問題解決方法

1. 修改配置 [重點!] 📖 進入CDH的安裝包倉庫 進入Kafka 的配置文件目錄 修改 server.properties 配置文件 . 路徑參考如下 : /opt/cloudera/parcels/KAFKA/etc/ka

原创 Kafka學習筆記(3) -關於broker-list,bootstrap-server以及zookeeper 的一些理解

Kafka學習筆記(3) -關於broker-list,bootstrap-server以及zookeeper 的一些理解 點贊 收藏 分享 文章舉報 2068年的王天賜

原创 Spark學習筆記(4) - 關於Spark常用31個transform算子代碼總結以及使用方法介紹(帶目錄)

文章目錄一.Transform類型算子1.1 Value 類型1.1.1 map 算子1.1.2 mapParatition 算子1.1.3 mapPartitionsWithIndex 算子1.1.4 flatMap 算子1.

原创 Java學習筆記 - 使用Java模擬生成直播彈幕日誌案例

一. 日誌格式需求 1.日誌格式: IP,UID,Time,URL,Referrer(訪問來源),status code(狀態碼) 其中URL有多種,彈幕的日誌格式爲 POST aa/pp HTTP 1.1 GET dm/sen

原创 Docker 學習筆記 - Centos7 安裝最新版Docker

一. 準備 1.1 卸載舊版本 yum remove docker \ docker-client \ docker-client-latest \

原创 Hadoop學習筆記 - hdfs的讀寫流程分析

Hadoop - 對hdfs文件讀寫流程分析 一. 讀數據 1.1 讀數據流程分析圖 1.2 讀數據步驟 1.2.1 請求階段 HDFS客戶端向NameNode請求讀取 路徑爲/hdfs/data/a.txt的文件 N

原创 Vue踩坑筆記 - 關於vue靜態資源引入的問題

參考 HTML 和靜態資源 HTML public 一. 總結 1.1 public 文件夾下的資源引入 直接使用 <%= BASE_URL %> 作爲根路徑 參考如下 : 如果public 文件夾下的的樣式使用 相對路徑

原创 Kafka踩坑筆記 - SparkStreaming連接 Kafka出現KafkaConsumer is not safe for multi-threaded access錯誤

問題描述 今天在使用 SparkStreaming消費kafka數據的時候, 出現了這個錯誤, 很莫名其妙 去百度查了下, 發現這個錯誤是因爲 由於需要定時啓動Kafka consumer拉取數據,第一次啓動後,沒有關掉線程。 但