原创 Python初級學習筆記-記錄小白的python之路
1、安裝pycharm 2、下載python 老夫子用的是這個版本的python 3、安裝完後，配置一下項目的python環境 具體的還需要自己設置 4、針對我們的項目還需要配置numpy和pandas環境，我們分別使用pi
2020-06-21 16:14:50
原创 IDEA添加方法註釋
IDEA添加方法註釋File -> Settings -> Editor -> Live Templates編輯模板模板示例效果展示方法體外的註釋 File -> Settings -> Editor -> Live Templa
2020-06-21 16:14:39
原创 第1章 Spark RDD概述
第1章 RDD概述1.1 什麼是RDD1.2 RDD的屬性1.3 RDD特點1.3.1 分區1.3.2 只讀1.3.3 依賴1.3.4 緩存1.3.5 CheckPoint 1.1 什麼是RDD RDD（Resilient Dis
2020-06-21 15:34:53
原创 設置Spark程序設置日誌打印級別
在maven項目中設置Spark程序的日誌打印級別： 引入logger4j和slf4j的依賴 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artif
2020-06-21 15:34:53
原创 免費分享 Jdk1.8 中文API
免費分享 Jdk1.8 API 資源來自於網上，侵權請私信刪除 鏈接:https://pan.baidu.com/s/1M-D58jUtlvAtDbWtuLGqvw 密碼:iubl
2020-06-21 15:34:53
原创 實戰-Spark單機環境安裝教程
Spark的單機安裝方法很簡單,這裏我已spark2.4.5爲例演示，最後啓動的是cdh安裝的spark2.4.0. 下載 http://spark.apache.org/downloads.html 解壓tar -zxvf s
2020-06-21 15:34:53
1
原创 CDH集羣更換IP處理方法
原因：因原先使用的路由器信號不好，更換了路由器後機器的IP更換了，導致機器無法正常啓動服務。 注：該文檔適用於CDH集羣中，節點IP地址發生變化，集羣無法正常啓動的場景 解決方法 首先停止CDH集羣 在各個節點上，停止尚在運行的C
2020-06-21 15:34:52
原创 Spark基礎知識解析
Spark基礎知識解析第1章 Spark概述1.1 什麼是Spark？1.2 Spark內置模塊1.3 Spark特點1.4 Spark的適用場景1.5 Spark常用術語第2章 Spark運行模式2.1 Spark安裝地址2.2
2020-06-21 15:34:40
原创 HBase 永久RIT(Region-In-Transition)問題解決記錄
Region-In-Transition問題問題1：啓動HBase時，HBase Regionserver Web UI，一直停留在The RegionServer is initializing! 界面。核心修復步驟1：（嘗試性
2020-06-21 15:34:39
原创 基於 騰訊雲 CentOS 7 搭建 GitLab
基於 CentOS 7 搭建 GitLabGitLab是什麼？1、準備環境1.1 更新軟件包1.2 安裝 sshd1.3 配置防火牆1.4 安裝 postfix1.5 配置 swap 交換分區2、安裝 GitLab2.1 將軟件源
2020-06-21 15:34:39
原创 CDH節點宕機恢復記錄
由於意外，集羣中的一個節點系統壞了，重裝系統後，把該節點添加集羣中，恢復hdfs數據。 思路：主要問題是把hdfs的數據恢復，由於hdfs的機制very good，只要把節點從集羣中刪掉，再添加進集羣中，配置hdfs對應目錄就好。
2020-06-21 15:34:39
原创 HDFS開啓HA後，集羣的部分組件異常記錄
爲了使集羣能夠更加穩健，我在運行了大約半年後的CDH上啓用了HDFS高可用性，目的就是爲了防止集羣中namenode機器宕機後集羣還能靠備用節點進制故障轉移。我這一操作好了，原本沒問題的集羣一下子出現了好多問題。 是由下面這個事件
2020-05-19 14:43:44
原创 本地Git的基本配置和與GitHub（私有倉庫）之間免登陸pull、push的方法
本地Git的基本配置和與GitHub（私有倉庫）之間免登陸pull、push的方法1.設置本地用戶名和郵箱2.生成祕鑰3.對於已經拉完的工程4.直接重新clone倉庫5.在執行git pull的時候，提示當前branch沒有跟蹤信
2020-05-11 04:43:36
原创 Hbase 2.x Region in Transition (永久RIT) 異常解決
Hbase永久Region in Transition 異常解決環境問題原因解決方法總結 環境 Hbase 版本：2.1.0（CDH6.2.0） 問題原因 服務器由於雲的錯誤啓動，導致大數據環境上超過半數的機器都出現了磁盤問題或者
2020-04-24 19:08:53