原创 工廠模式簡單實現

Factory Method 工廠方法模式——定義一個用於創建對象的接口,讓子類決定將哪一個類實例化。Factory Method使一個類的實例化延遲到其子類。 代碼實現: package factory; public cla

原创 常用算法排序比較

先看圖: 1.直接插入排序、簡單選擇排序、冒泡排序是最簡單的三種排序算法,時間複雜度也最高O(n2),作爲基礎排序,面試中有被問到,三種都要掌握。 2.三種簡單排序算法簡單,但是效率低下;高級排序在簡單排序基礎上優化,算法複雜,換

原创 順序查找與二分查找解析

順序查找 非常簡單 示例1:在成績中查詢分數是100的第一個分數 99 86 59 63 49 100 99 78 for(int i =0 ;i<a.lenth;i++){ if(a[i])==100

原创 MySQL DML語句整理彙總

這篇文章主要介紹了MySQL DML語句整理彙總,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨着小編來一起學習學習吧 DML操作是指對數據庫中表記錄的操作,主要

原创 hive小結之內部表與外部表

內部表: 平時創建的普通表即爲內部表 語句: create table `test1` ( id string , name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '

原创 歸併排序的那點事

歸併排序(MERGE-SORT)是利用歸併的思想實現的排序方法,該算法採用經典的分治(divide-and-conquer)策略(分治法將問題分(divide)成一些小的問題然後遞歸求解,而治(conquer)的階段則將分的階段得到的

原创 關於二叉樹的那些事

二叉樹簡介 樹(tree)是一種抽象數據類型(ADT),用來模擬具有樹狀結構性質的數據集合。它是由n(n>0)個有限節點通過連接它們的邊組成一個具有層次關係的集合。把它叫做“樹”是因爲它看起來像一棵倒掛的樹,也就是說它是根朝上,而葉朝

原创 冒泡排序詳解

冒泡排序的實現: /** 功能:數組排序(無序數組-----有序數組) 排序算法很多,冒泡排序,選擇排序,插入排序,是三種最基本最簡單的排序算法,效率最低 技能:冒泡排序 冒泡排序的算法 * 1.整個數列分成兩部分:

原创 hadoop案例java代碼實現

今天手寫一個hadoop的案例: 需求:找出每個月氣溫最高的2天 思路: 記錄特點 每年 每個月 最高 2天 1天多條記錄? 進一步思考 年月分組 溫度升序 key中要包含時間和溫度! MR原語:相同的key分到一組 通過Group

原创 java操作HDFS代碼實現

自己做的一些小訓練0.0 public class HDFSDemo { private Configuration conf; private FileSystem fs; @Before public void b

原创 淺談MapReduce作業提交流程

YARN:解耦資源與計算 ResourceManager 主,核心 集羣節點資源管理 NodeManager 與RM彙報資源 管理Container生命週期 計算框架中的角色都以Container表示 Container:【節點NM,

原创 談一下有關MapReduce的工作流程

廢話少說,先來張圖看看: Map: 1、根據業務需求處理數據並映射爲KV模型 2、並行分佈式 3、計算向數據移動 Reduce: 1、數據全量/分量加工 2、Reducer中可以包含不同的key 3、相同分區的Key匯聚到一個Redu

原创 hadoop 3.X新特性

總結一下hadoop3版本的新特性,方便以後工作時學習應用. 1.java版本更新 將默認的最低jdk從7升到了8 2.糾刪碼 可以將3倍副本佔據的空間壓縮到1.5倍,並且依舊保持3倍的容錯.但是在讀取數據的時候需要進行額外的計算,因

原创 Hadoop完全分佈式搭建

1、node1,2,3,4做免密鑰登錄 2、安裝和配置jdk 3、解壓hadoop-2.6.5.tar.gz到/opt目錄 4、在hadoop-env.sh中第25行配置 export JAVA_HOME=/usr/java/jdk1

原创 一分鐘帶你熟練掌握選擇排序算法

簡單選擇排序的算法 第一趟,從 n 個元素中找出關鍵字最小的元素與第一個元素交換; 第二趟,在從第二個元素開始的 n-1 個元素中再選出關鍵字最小的元素與第二個元素交換; 如此,第 k 趟,則從第 k 個元素開始的 n-k+1 個元素