原创 循環、遞歸、迭代、遍歷
///////////////////////////////////////////////////////////////////////////////////// 表示“重複”這個含義的詞有很多, 比如循環(loop), 遞歸(r
2020-02-24 08:08:37
原创 Hadoop 任務執行方面的優化
1. 推測式執行： 如果jobtracker 發現有拖後的任務，會再啓動一個相同的備份任務，然後哪個先執行完就會去kill掉另一個，因此會在監控頁面上經常能看到正常執行完的作業會有被kill掉的任務。 2.推測式執行缺省打開，但
2020-02-24 08:08:37
原创 關係型數據庫+NoSQL（非關係型數據庫）+HBase+Hive 區別與聯繫
作者：邵兵 鏈接：https://www.zhihu.com/question/21677041/answer/22393192 來源：知乎 著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。 1. RDBMS（傳統關
2020-02-24 08:08:37
原创 javascript中childNodes與children 區別 以及firstChild與firstElementChild區別
1：childNodes屬性: 標準的，它返回指定元素的子元素集合，包括html節點，所有屬性，文本。可以通過nodeType來判斷是哪種類型的節點，只有當nodeType==1時纔是元素節點，2是屬性節點，3是文本節點。如果代碼中有換行
2020-02-24 08:08:37
原创 歸併排序（MergeSort）遞歸與非遞歸的實現
主要關注一下非遞歸版本，其實就是模擬了從長度爲1的子段，不斷長度翻倍，一直到最後爲全長的過程。】 歸併的思想是： 1.將原數組首先進行兩個元素爲一組的排序，然後合併爲四個一組，八個一組，直至合併整個數組； 2.合併兩個子數組的時候，需
2018-09-17 07:16:07
原创 Spark性能優化--數據傾斜調優與shuffle調優
一、數據傾斜發生的原理原理：在進行shuffle的時候，必須將各個節點上相同的key拉取到某個節點上的一個task來進行處理，比如按照key進行聚合或join等操作。此時如果某個key對應的數據量特別大的話，就會發生數據傾斜。數據傾斜只會
2018-08-22 13:28:07
原创 Hadoop中的數據傾斜
在做Shuffle階段的優化過程中，遇到了數據傾斜的問題，造成了對一些情況下優化效果不明顯。主要是因爲在Job完成後的所得到的Counters是整個Job的總和，優化是基於這些Counters得出的平均值，而由於數據傾斜的原因造成map
2018-08-22 13:27:28
2
原创 翻轉部分單向鏈表
題目：給定一個頭結點head，以及兩個整數from,to，在單鏈表上翻轉第from個到第to個節點思路：可能存在換頭的狀態，例如1->2->3， from=1，to= 3，最後頭結點會變，爲3->2->1。所以要提前判斷一下有沒有換頭的情
2018-08-22 13:27:28
3
原创 打印兩個有序鏈表的公共部分
要求：給出兩個有序單鏈表的頭結點 head1，head2，打印兩個鏈表公共部分思路：因爲已經有序，所以直接比較值大小，若1小，1後移，2小，2後移，相等，打印，二者一起後移，繼續比較。public void printCommomPart
2018-08-22 13:27:27
原创 計算1^1+2^2+3^3+4^4+5^5+……+20^20 ，大數運算（加，乘）java實現
這個題目是明顯的大數運算，不能直接使用int long double 早就超出範圍了，要用數組結合字符串進行處理，分別實現大數的加法和乘法，然後使用實現的加法和乘法寫出來n的n次冪的實現，最後 把它們加起來首先存進來就是要用string來
2018-08-22 13:27:27
1
原创 刪除鏈表的中間節點 / 刪除鏈表a/b處的節點
一、刪除中間節點：要求：刪除中間節點的函數思路：本題並不是讓你取得中間位節點，而是刪除，所以關鍵是取得中間點的前一位。正常取中值用快慢指針，head.next，與，head.next.next。所以我們需要把慢指針前移一位，就變成了hea
2018-08-22 13:27:27
1
原创 HTTP與HTTPS
1 從HTTP說起 HTTP是一個應用層通信協議，用於從WWW服務器傳輸超文本到本地瀏覽器，傳輸的數據都是未加密的，內容可能會被竊聽。 一種解決方案是對通信報文的內容進行加密，對通信報文內容的加密僅僅是達到讓攻擊者難以破解的目的，但是加密
2018-08-22 13:27:27
原创 構造數組的MaxTree
要求：給定一個無序的，無重複元素的數組，生成MaxTree，要求每一個根節點處爲當前最大值 時間複雜度要求O（n），空間複雜度O（n）思路：一開始第一個想法是排序，在生成二叉排序樹之類的，堆排序遞歸之類的，但是題目要求
2018-08-22 13:27:16
3
原创 單鏈表排序----（快排+歸併+插入）
public static void quicksort(Node begin,Node end){ if(begin!=end){ Node partition=getpartition(
2018-08-22 13:27:16
2
原创 HDFS實現其高可靠性的策略及機制
分佈式文件系統（HDFS）的高可靠性主要是由多種策略及機制共同作用實現的。 主要有： 冗餘副本策略 可以指定數據文件的副本數量，默認是3； 保證所有的數據塊都有副本，不至於在一個datanode宕機後，數據的丟失。 機架策略 集羣一般放
2018-08-22 13:27:16