原创 小知識點-大數據處理之初步理解
單機處理時擴展到集羣處理： 單機數據處理 à 集羣大數據處理 對應的變化： 1. 單機上的計算 à 集羣中的計算 2. 單機上的數據存儲 à 集羣中的數據存儲 3. 單機上的計算資源極其管理 à 集
2018-08-29 05:45:07
原创 小技巧-CLASS文件源碼查看方法整理
小技巧-class文件源碼查看方法整理 1 場景 跟蹤源碼時，點擊某類或某方法後進入.class文件。 2 需求 查看該.class文件的源碼。 3 方法 1. 進入.class文件後
2018-08-29 05:45:07
3
原创 Spark應用運行時報錯
報錯信息與Scala有關，如類型不能轉換，方法找不到等等，先檢查下，編譯對象依賴的Scala版本，有以下兩種可能： a) 運行環境的scala版本與編譯時使用的版本不一致 b) 引進的依賴包，如scalatest等，編譯時的sc
2018-08-29 05:45:07
原创 編譯Spark應用代碼報對象已定義錯誤
錯誤界面： ** 提供者：北京-hadoop-happy 解決分析： 從重複加載進行考慮，查看依賴的jar包是否重複有10和11兩個Scala版本。
2018-08-29 05:45:07
原创 spark sql 中 hive變量的使用記錄
一、 使用變量的方式： 和 hive 中使用方式一樣，如 ${varName} 案例如下： scala> spark.sql("set unit_len=8") res3: org.apache.spark.sql.DataFrame
2018-08-29 05:45:07
原创 Spark單節點多應用啓動失敗
單節點多應用：指在單個節點上，運行了多個應用程序（driver）—— 包含client或cluster模式。 1. 問題：在同一個節點啓動多個應用 時，報java.net.BindException：地址已在使用，報錯信息如下：
2018-08-29 05:45:07
原创 Cloudera：Hue監控頁面的時間顯示問題
背景： CM安裝時選擇時區正確 各機器時間已同步、正確 問題描述： 其他各個監控頁面的時間顯示正常 Hue中job監控頁面的時間顯示錯誤 —— 時區不對 解決方法： CM 中， 羣集 ->
2018-08-29 05:45:07
7
原创 窄依賴的pipeline作用對象分析
當父子RDD間的依賴爲窄依賴時，可以pipeline 但對應的pipeline作用在分區數據層，而不是作用在記錄級別，在性能上並沒有完全體現pipeline的最大優勢。 如：filter + map， 對應在父RDD的各個分區中，會有一
2018-08-29 05:45:07
原创 centos yum方式安裝git
1.查詢可用安裝包 [harli@cluster04 cluster_13]$ yum list git Loaded plugins: fastestmirror, refresh-packagekit, security Load
2018-08-29 05:45:07
原创 小知識點實踐——RDD 在STAGE 中計算時的PIPELINE測試
小知識點實踐——RDD 在Stage 中計算時的pipeline測試 1 分析 在Stage中，以pipeline方式進行計算，計算時對分區的每一條記錄是依次從頭到尾（在數據獲取角度存在回溯的概念，但執行上是從前到後依次
2018-08-29 05:45:07
1
原创 IDEA的auto import 與 Scala的隱式轉換
設置IDEA的auto import 之後，編寫Spark應用程序時的一些自動導入情況及其說明。 第一種情況 普通類的自動導入 如代碼： var cnames = new ArrayBuffer[String]() v
2018-08-29 05:44:56
1
原创 採用oracle.jdbc.driver.OracleDriver連接數據庫
/**********************************************************************************************************************
2018-08-29 05:44:56
原创 Spark提交應用失敗
第一種失敗： TaskSchedulerImpl 調度失敗 報錯信息: TaskSchedulerImpl: Initial job has not accepted any resources; check your cluste
2018-08-29 05:44:56
2
原创 Spark集羣關閉失敗
錯誤提示信息： 原因分析： 可能是因爲找不到Worker與Master節點對應的pid文件，導致這種錯誤。 解決方法： 查看pid文件是不是放在tmp目錄下，由於linux系統會定時（或重啓時）刪除tmp目錄，所以導致pid文件
2018-08-29 05:44:56
2
原创 Ruby的常量在嵌套類與子類中的引用 —— 差異點
# 嵌套類 class Drawing PI = 123123 def Drawing.give_me_a_circle Circle.new end def xpi PI end class Line end
2018-08-29 05:44:55