原创 Spark2.1新特性
Spark 2.1.0是2.x分支中的第二個重要的發佈版本（第一個是2.0.x），在該版本中，structured streaming有重大改進，增加了event mark watermark機制和對kafka 0.10.0的支持等特性
2020-07-05 08:44:47
原创 JAVA必備基礎知識點
Java基礎 1、 簡述Java的基本歷史 java起源於SUN公司的一個GREEN的項目，其原先目的是：爲家用消費電子產品發送一個信息的分佈式代碼系統，通過發送信息控制電視機、冰箱等 2、 簡單寫出Java特點
2020-02-22 12:16:12
原创 Java NIO使用及原理分析 (四)
轉載自：李會軍•寧靜致遠 在上一篇文章中介紹了關於緩衝區的一些細節內容，現在終於可以進入NIO中最有意思的部分非阻塞I/O。通常在進行同步I/O操作時，如果讀取數據，代碼會阻塞直至有 可供讀取的數據。同樣，寫入調用將會阻塞直至數
2020-02-22 12:16:02
原创 Hadoop中reduce端shuffle過程及源碼解析
一、概要描述 在Child的main函數中通過TaskUmbilicalProtocol協議，從TaskTracker獲得需要執行的Task，並調用Task的run方法來執行。在ReduceTask而Task的run方法會通過Java
2020-02-22 12:16:02
原创 Linux mail命令用法
在Linux系統下mail命令的測試 1. 最簡單的一個例子： mail -s test [email protected] 這條命令的結果是發一封標題爲test的空信給後面的郵箱，如果你有mta並且後面的郵箱不會擋這種可能莫
2020-02-22 12:16:02
2
原创 linux sort,uniq,cut,wc命令詳解
sort sort 命令對 File 參數指定的文件中的行排序，並將結果寫到標準輸出。如果 File 參數指定多個文件，那麼 sort 命令將這些文件連接起來，並當作一個文件進行排序。 sort語法 [root@www ~]#
2020-02-22 12:16:02
原创 mapreduce 輔助類GenericOptionsParser，Tool和ToolRunner
輔助類GenericOptionsParser，Tool和ToolRunner 爲了簡化命令行方式運行作業，Hadoop自帶了一些輔助類。GenericOptionsParser是一個類，用來解釋常用的Hadoop命令行選項，並根據需要，
2020-02-22 12:16:02
原创 linux sed和awk解析
sed 工具簡介在瞭解了一些正規表示法的基礎應用之後，再來呢？呵呵～兩個東西可以玩一玩的，那就是 sed 跟 awk 了！ 這兩個傢伙可是相當的有用的啊！舉例來說，鳥哥寫的 logfile.sh 分析登錄文件的小程序， 絕大部分分析關鍵詞
2020-02-22 12:16:02
1
原创 mapreduce shuffle 詳解
轉載地址：http://hi.baidu.com/jiangyangw3r/item/1995d758e4c5fd10db163544 MapReduce 是現今一個非常流行的分佈式計算框架，它被設計用於並行計算海量數據。第一
2020-02-22 12:16:02
原创 JAVA多線程和併發基礎面試問答
原文鏈接 譯文連接 作者：Pankaj 譯者：鄭旭東 校對：方騰飛 多線程和併發問題是Java技術面試中面試官比較喜歡問的問題之一。在這裏，從面試的角度列出了大部分重要的問題，但是你仍然應該牢固的掌握Java多線程基礎知識來對
2020-02-22 12:16:02
原创 Linux 重定向
轉:http://blog.csdn.net/songyang516/article/details/6758256 1重定向 1.1 重定向符號 > 輸出重定向到一個文件或設備 覆蓋原來
2020-02-22 12:16:02
原创 shell編程一：初識shell
Shell腳本同Linux系統中的其它文件一樣，可以不使用擴展名。但爲了方便識別，通常建議Bash腳本文件名以sh結尾，Tcsh腳本文件以csh結尾。 vim bash.sh創建一個腳本文件#！/bin/bash上面是一個Bas
2020-02-22 12:16:02
原创 Shell編程二：Shell中的數組
1.數組的定義 完整的數組元素由數組名和索引組成如下： array[index]在Bash中定義數組有兩種方法： （1）直接在定義的時候爲所有的數組元素賦值 array=(1 2 3 4 5 6)(2)對數組的每個 元素進行分別賦值 ar
2020-02-22 12:16:02
原创 YARN resourceManager解析
在YARN中，ResourceManager負責集羣中所有資源的統一管理和分配，它接收來自各個節點（NodeManager）的資源彙報信息，並把這些信息按照一定的策略分配給各個應用程序（實際上是ApplicationManager）。
2020-02-22 12:16:02
1
原创 LInux的啓動過程
當主機加電時，系統啓動的過程就正式開始了。Linux系統啓動的過程可以簡單的分爲以下幾類： （1）主機加電自檢：按下主機電源鍵之後，啓動過程就開始了。系統會首先加載BIOS（Basic Iput Output System,基本的輸入輸出
2020-02-22 12:16:02