原创 mapreducer--1

1.什麼是mapreducer?優點和缺點? Mapreduce 分佈式編程框架 優點 易於編程(實現一些接口) 良好擴展性(簡單增加機器) 高容錯性 離線處理 缺點: 不擅長實時計算 不擅長流式計算 不擅長DAG計算(有向圖)因

原创 sql基礎教程--6

1.abs(數值)–絕對值 abs(null)=null 2.mod(被除數,除數)除號在之前是被除數。 3.round(對象數值,保留小數位數)–4舍5入 4.字符串函數 || --字符串拼接 str1+str2也可以三個或者多

原创 mapreducer--2

Wirtable Comparable 排序 MapTask和ReduceTask均會對數據key進行排序。 默認是按照字典排序,實現方法是快速排序 2.排序的分類 compareto 是兩個條件就是二次排序,3個條件就是三次

原创 集合專題--349. 兩個數組的交集

給定兩個數組,編寫一個函數來計算它們的交集。 示例 1: 輸入: nums1 = [1,2,2,1], nums2 = [2,2] 輸出: [2] 1.定義treeset,遍歷數組的元素,把存入set, 2.定義一個鏈表存儲交集,

原创 yarn--知識點總結一

1.什麼叫做yarn? Yarn是一個資源調度平臺,負責爲運算程序提供服務器運算資源,相當於一個分佈式的操作系統平臺,而MapReduce等運算程序則相當於運行於操作系統之上的應用程序 2.Yarn基本架構 YARN主要由Reso

原创 華爲面經驗

1.手撕代碼 醜數、某個數可以拆成2多少冪想加 2.大數據基礎問題hadoop、spark 3.農場問題

原创 hashmap源碼-7

hashmap總體設計 1.HashMap 底層的數據結構主要是:數組 + 鏈表 + 紅黑樹。其中當鏈表的長度大於等於 8 時,鏈表會轉化成紅黑樹,當紅黑樹的大小小於等於 6 時,紅黑樹會轉化成鏈表,整體的數據結構如下: 1.1

原创 hadoop安裝常見的問題以及解決思路--持續更新

1.ssh: connect to host localhost port 22: Network is unreachable 可能是你hostname與你的ip地址映射有問題,或者你防火牆的問題

原创 HashSet、TreeSet 源碼解析-10

HashSet 1.底層實現基於 HashMap,所以迭代時不能保證按照插入順序,或者其它順序進行迭代; 2.add、remove、contanins、size 等方法的耗時性能,是不會隨着數據量的增加而增加的,這個主要跟 Has

原创 java--多線程1

1.在 java 中實現多線程有四種方式,如下: 繼承 Thread 類 實現 Runnable 接口 使用 FutureTask 使用 Executor 框架 其中繼承 Thread 類和實現 Runnable 接口是最基本的方

原创 集合在 Java 7 和 8 有何不同和改進

1.所有集合都新增了forEach 方法 1.2 List 區別 1.2.1 ArrayList ArrayList 無參初始化時,Java 7 是直接初始化 10 的大小,Java 8 去掉了這個邏輯,初始化時是空數組,在第一次

原创 TreeMap 和 LinkedHashMap--8

1.TreeMap Comparable 和 Comparator 兩者進行排序的方式,而 TreeMap 利用的也是此原理,從而實現了對 key 的排序。 TreeMap 底層的數據結構就是紅黑樹,和 HashMap 的紅黑樹結

原创 Map源碼會問哪些面試題-9

1 Map 整體數據結構類問題 1.1 說一說 HashMap 底層數據結構 答:HashMap 底層是數組 + 鏈表 + 紅黑樹的數據結構,數組的主要作用是方便快速查找,時間複雜度是 O(1),默認大小是 16,數組的下標索引是

原创 155. 最小棧

設計一個支持 push,pop,top 操作,並能在常數時間內檢索到最小元素的棧。 push(x) – 將元素 x 推入棧中。 pop() – 刪除棧頂的元素。 top() – 獲取棧頂元素。 getMin() – 檢索棧中的最小

原创 152乘積最大子序列

給定一個整數數組 nums ,找出一個序列中乘積最大的連續子序列(該序列至少包含一個數)。 示例 1: 輸入: [2,3,-2,4] 輸出: 6 解釋: 子數組 [2,3] 有最大乘積 6。 解題思路: 1.當出現負數的時候,最大