原创 azkaban異常：Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job hello, sleep for 60
一、原因：azkaban默認情況下在開始運行job時會檢測系統的內存，其最低要求的內存是3G，若系統內存不足3G，便會出現運行的job一直卡在那不動。 二、解決辦法： （1）增加系統內存 （2）關閉檢測內存的選項。具體辦法爲，在azkab
2019-02-19 06:40:09
5
原创 azkaban的簡單案例
一、主界面介紹 (1)Projects：創建和顯示已存在的工程，所有的flow都屬於一個工程。 (2)Scheduling：顯示定時任務。 (3)Executing：顯示當前運行的任務。 (4)History：顯示歷史任務。 二、創建
2019-02-19 06:40:09
原创 azkaban-3.6安裝
一、下載源碼，並編譯 1、下載地址：https://github.com/azkaban/azkaban/releases 2、編譯前所需環境 安裝 jdk1.8 安裝 mysql5.7 安裝 git2.15 參考https://www
2019-02-14 19:01:58
原创 二分圖匹配知識
二部圖及其最大匹配： 二部圖：對於無向圖G（V，E），若能將其頂點分成V1，V2兩個不相交的非空子集，使得G中的任何一條邊的兩個端點一個屬於V1，另一個屬於V2，那麼該圖就稱爲二部圖。 性質：一個無向圖G（V，E）是二部圖當且僅當G中不
2018-09-03 00:57:37
原创 SparkSQL中的UDF
一、UDF（User Defined Function）：spark SQL中用戶自定義函數，用法和spark SQL中的內置函數類似；是saprk SQL中內置函數無法滿足要求，用戶根據業務需求自定義的函數。二、UDF使用分爲兩步：（1
2018-09-03 00:57:37
原创 Spark Sql之兩種方式構建DataFrame
一、通過定義類的方式指定schema來構建DataFrameobject GenerateDFByClass{ def main(args: Array[String]): Unit = { //1.創建配置對象 va
2018-09-03 00:57:37
原创 mapreduce練習之數據去重
輸入數據： 1997-01-02 phone 1998-10-01 window 1997-01-02 phone 2001-11-23 xbox 2013-08-16 vr 1997-01-02 phone 2001-1
2018-09-03 00:57:37
原创 Spark開窗函數之ROW_NUMBER()
一、row_number函數的用法：（1）Spark 1.5.x版本以後，在Spark SQL和DataFrame中引入了開窗函數,其中比較常用的開窗函數就是row_number 該函數的作用是根據表中字段進行分組，然後根據表
2018-09-03 00:57:37
原创 Spark集羣搭建
一、環境準備（1）集羣：hadoop01,hadoop02,hadoop03 （2）jdk1.8、spark1.6 二、集羣搭建（1）解壓安裝包到linux下的:/usr/local tar -zxvf /home/spark-1.6.1
2018-09-03 00:57:37
原创 spark兩種自定義排序方式
一、目標對象添加隱式轉換函數的方式實現自定義排序object MySort{ //爲student類添加隱式轉換函數 implicit val stuOrdering = new Ordering[student]{ ov
2018-09-03 00:57:37
原创 spark集羣的啓動流程
總體來說spark集羣的啓動流程可以分爲五步，下面結合下圖來具體分析一下spark集羣在啓動的流程。（1）、創建Master對象，啓動了一條Master進程。然後，執行preStart生命週期方法，開啓一個定時器定期檢測超時的wor
2018-09-03 00:57:36
原创 東北大學重現賽-So Easy!!!（表達式求值）
Problem Description yizhen has no girlfriend due to his stupid brain that he even can’t solve a simple
2018-09-03 00:57:36
3
原创 zookeeper集羣查看狀態錯誤：Error contacting service. It is probably not running
今天用三臺虛擬服務器搭了個zookeeper集羣，在所有配置都設置好後；啓動了一臺機器上的zookeeper服務後；然後就興沖沖的想去查看一下他的狀態，結果就報了上述錯誤；而且發現無法登陸到本地的zookeeper服務
2018-09-03 00:57:36
原创 hadoop2.7.x搭建高可用集羣
一、環境準備及規劃 （1）三臺虛擬服務器，系統版本爲centos6.5 （2）分別在三臺虛擬機上配置java運行環境，這裏jdk的版本是1.8 （3）zookeeper集羣搭建，搭建過程略；詳細過程請參考
2018-09-03 00:57:36
原创 對象反序列化異常原因：java.io.InvalidClassException
對象反序列化異常原因：java.io.InvalidClassException 晚上寫了個序列化和反序列化的Demo，序列化時程序正常，不過在反序列化由於修改了被序列化類的源碼，在反序列化是就報了上述異
2018-09-03 00:57:36