原创 error in shuffle in fetcher#5,Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5 Caused by: java.io.I

原创 Idea中查看類層級class hierarchy

idea中,我當前設置的是eclipse的快捷鍵(從eclipse轉過來的)   一般情況下,查看類的子類Ctrl+T 如何以樹的形式查看完整繼承關係,快捷鍵:F4 效果如下:

原创 任務100%並且輸出counter後報錯

Job failed as tasks failed. failedMaps:318 failedReduces:0 20/04/25 19:03:26 INFO mapreduce.Job: Counters: 38     File

原创 source 和sh 區別

個人覺得source這個命令主要是載入資源或者,sh主要進行執行腳本   sh新建一個子shell進程,變量在主shell中無法獲取 source在當前shell中執行腳本,變量在主shell即當前shell中可以獲取 例子: 新建一個

原创 SourceCRT設置全局字符集爲utf-8

因爲每次打開CRT都需要調整一下,終端訪問模式,和編碼格式。太麻煩了。 其實可以一次性設置,使下次打開的時候不在需要設置。       接下來 我就不講了, 

原创 yarn-cluster和yarn-client提交模式的區別

1、你要切換到yarn-cluster或者yarn-client模式,很簡單,將我們之前用於提交spark應用程序的spark-submit腳本,加上--master參數,設置爲yarn-cluster,或yarn-client,即可。如

原创 hadoop3.0.0 window搭建

注意:hadoop3.0.0已經把50070的默認端口修改爲9870,注意查看和當前使用的hadoop版本對應的官方文檔   下載hadoop: 點擊下面鏈接進行下載 解壓完後,bin裏面還缺少了winutils.exe和hado

原创 Java8-Lambada詳解

1.Lambada使用場景 lambda表達式中只能爲函數式接口創建實例 補充: 什麼是函數式接口? 函數式接口是只包含一個抽象方法聲明的接口.java.lang.Runnable 就是一種函數式接口,在 Runnable 接口中只聲明

原创 shell零散語句

1.查看暫用某個端口號的進程id netstat -autnlp | grep 端口號

原创 hive導表語句

show   create   table ottvtest.tb_mr_outsample_low_dd; 結果: CREATE TABLE `ottvtest.tb_mr_outsample_low_dd`(   `cityid

原创 hadoop集羣搭建-各個配置文件詳解

首先列舉出所有的hadoop配置文件:  [hmaster@wangyou-mn00 ~]$ cd `echo $HADOOP_HOME` [hmaster@wangyou-mn00 hadoop]$ ll 總用量 48 drwxr-x

原创 synchronized與Lock的區別-loc詳解,需要看synchronized詳解去看收藏

兩者區別: 1.首先synchronized是java內置關鍵字,在jvm層面,Lock是個java類; 2.synchronized無法判斷是否獲取鎖的狀態,Lock可以判斷是否獲取到鎖; 3.synchronized會自動釋放鎖(a 

原创 java實現Hbase多條件組合查詢 (Filter方式)

/** * 通過多條件聯合查詢 * * @param tablename * @param arr * @return * @throws IOException */ public List queryByFil

原创 SQL SERVER中case when的用法

Case具有兩種格式。簡單Case函數和Case搜索函數。 --簡單Case函數 CASE sex          WHEN '1' THEN '男'          WHEN '2' THEN '女' ELSE '其他' E

原创 linux文件合併,去重,分割

第一:兩個文件的交集,並集 前提條件:每個文件中不得有重複行 1. 取出兩個文件的並集(重複的行只保留一份) 2. 取出兩個文件的交集(只留下同時存在於兩個文件中的文件) 3. 刪除交集,留下其他的行 1. cat file1 file2