原创 HIVE MR知識鞏固
概念 Hive 將 HQL 轉換成MapReduce 執行 ，可以說Hive 是基於 hadoop的一個數據倉庫工具，實質就是一款基於 HDFS的 MapReduce 計算框架 我的大白話解釋 其實Hive就是基於hdfs以及mr
2020-07-04 09:08:51
原创 大數據相關面試題
轉載 大數據面試題（多） https://blog.csdn.net/Lwj879525930/article/details/82559596 大數據相關面試題無答案 https://blog.csdn.net/mkkm1314/a
2019-03-07 16:56:29
1
原创 HIVE知識鞏固
概念 Hive 將 HQL 轉換成MapReduce 執行 ，可以說Hive 是基於 hadoop的一個數據倉庫工具，實質就是一款基於 HDFS的 MapReduce 計算框架 我的大白話解釋 其實Hive就是基於hdfs以及mr的數
2019-02-27 16:45:53
原创 flume 學習
Flume 監控 一共分爲兩種監控 http監控 Flume作爲一個強大的數據收集工具，雖然功能非常強大實用，但是卻無法看到flume收集數據的詳細信息，所以我們需要一個能展示flume實時收集數據動態信息的界面，包括flume成功收
2019-02-20 16:27:54
原创 ThreadLocal volatile
ThreadLocal: ThreadLocal，很多地方叫做線程本地變量，也有些地方叫做線程本地存儲，其實意思差不多。可能很多朋友都知道ThreadLocal爲變量在每個線程中都創建了一個副本，那麼每個線程可以訪問自己內部的副本變量
2019-02-14 16:40:40
原创 8大排序算法
- [ ] 冒泡排序 很簡單，用到的很少，據瞭解，面試的時候問的比較多！將序列中所有元素兩兩比較，將最大的放在最後面。將剩餘序列中所有元素兩兩比較，將最大的放在最後面。 重複第二步，直到只剩下一個數 2.希爾排序 針對直接插入排序
2019-02-14 16:40:40
原创 BIO NIO AIO
BIO是一個連接一個線程。 NIO是一個請求一個線程。 AIO是一個有效請求一個線程 Java對BIO、NIO、AIO的支持： Java BIO ： 同步並阻塞，服務器實現模式爲一個連接一個線程，即客戶端有連接請求時服務器端就需要啓動
2019-02-14 16:40:40
原创 數據結構（HashMap和ConcurrentHashMap ）
應爲面試中數據結構方面問的最多的就是hashMap，所以今天對hashMap做了一個總結。 給定的默認容量爲 16，負載因子爲 0.75。Map 在使用過程中不斷的往裏面存放數據，當數量達到了 16 * 0.75 = 12 就需要將當
2019-02-14 16:40:40
原创 tcp http 3次握手 4次揮手
TCP報文格式圖： 上圖中有幾個字段需要重點介紹下： （1）序號：Seq序號，佔32位，用來標識從TCP源端向目的端發送的字節流，發起方發送數據時對此進行標記。 （2）確認序號：Ack序號，佔32位，只有ACK標誌位爲1時，確認序號
2019-02-14 16:40:40
原创 數據庫（mysql）
數據庫的結構（Tree） B 樹： 是一種多路搜索樹 B 樹的搜索，從根結點開始，對結點內的關鍵字（有序）序列進行二分查找，如果 命中則結束，否則進入查詢關鍵字所屬範圍的兒子結點；重複，直到所對應的兒子指針爲空，或已經是葉子結點；
2019-02-14 16:40:40
原创 JVM內存模型&&垃圾回收
概述： 虛擬機自動內存管理機制下，不再需要像C/C++程序開發程序員這樣爲內一個new 操作去寫對應的delete/free操作，不容易出現內存泄漏和內存溢出問題。正是因爲Java程序員把內存控制權利交給Java虛擬機，一旦出現內存泄
2019-01-10 16:31:37
原创 分佈式事物實現方式
事物特性(acid) 原子性（A） 所謂的原子性就是說，在整個事務中的所有操作，要麼全部完成，要麼全部不做，沒有中間狀態。對於事務在執行中發生錯誤，所有的操作都會被回滾，整個事務就像從沒被執行過一樣。 一致性（C） 事務的執行必須保證
2019-01-09 16:36:38
原创 三種分佈式鎖的實現
分佈式鎖的幾種實現方式 目前幾乎很多大型網站及應用都是分佈式部署的，分佈式場景中的數據一致性問題一直是一個比較重要的話題。分佈式的CAP理論告訴我們“任何一個分佈式系統都無法同時滿足一致性（Consistency）、可用性（Avail
2019-01-09 16:36:38
原创 jvm類加載過程
類從被加載到JVM中開始，到卸載爲止，整個生命週期包括：加載、驗證、準備、解析、初始化、使用和卸載七個階段。 其中類加載過程包括加載、驗證、準備、解析和初始化五個階段。 類加載器的任務就是根據一個類的全限定名來讀取此類的二進制字節流到
2019-01-09 16:36:38
原创 Spark 性能調優
最近在學習spark，spark相對於mr來說他的dag模型和內存管理確實很大的提高了性能，但是Spark開發出高性能的大數據計算作業，並不是那麼簡單的。想要spark最大的發揮他的優勢，需要在很多方面進行調優。 基礎篇 1. 開發調
2018-12-28 17:24:19