原创 Hive 臨時表
Hive從0.14.0開始提供創建臨時表的功能，表只對當前session有效，session退出後，表自動刪除。 語法： CREATE TEMPORARY TABLE ... 注意點： 1、如果創建的臨時表表名已存在，那麼當前sessio
2020-06-27 20:41:17
原创 Twitter Heron架構介紹
我們每天在Twitter上處理着數十億的事件。正如你猜測的那樣，實時分析這些事件是一個巨大的挑戰。目前，我們主要的分析平臺是開源的分佈式流計算系統Storm。但是隨着Twitter數據規模變大和多樣化，我們的需求已經發生了改變。因此
2020-02-23 13:38:02
原创 Spark性能優化指南——基礎篇
前言 在大數據計算領域，Spark已經成爲了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算等各種不同類型的計算操作，應用範圍與前景非常廣泛。在美團•
2020-02-23 13:38:02
原创 JAVA線程池的分析和使用
1. 引言 合理利用線程池能夠帶來三個好處。第一：降低資源消耗。通過重複利用已創建的線程降低線程創建和銷燬造成的消耗。第二：提高響應速度。當任務到達時，任務可以不需要等到線程創建就能立即執行。第三：提高線程的可管理性。線程是稀缺資源，
2020-02-23 13:38:02
原创 HDFS緩存集中管理特性：Centralized Cache Management
Hadoop 從2.3.0版本開始，對HDFS加入了一個新特性：集中式的緩存管理(HDFS centralized cache management)。這個功能對於提升Hadoop系統和上層應用的執行效率與實時性有很大幫助，本文從原理、
2020-02-23 13:38:02
原创 使用MSCK命令修復Hive表分區
一、介紹 我們平時通常是通過alter table add partition方式增加Hive的分區的，但有時候會通過HDFS put/cp命令往表目錄下拷貝分區目錄，如果目錄多，需要執行多條alter語句，非常麻煩。Hive提供了一個"
2020-02-23 13:38:02
原创 Storm Metrics機制
Storm提供的Metrics接口可以在topology中的任何位置上報統計指標，在storm內部也使用這個功能提供給Nimbus UI數值，如executes ack數、bolt平均延時、worker堆內存使用量等等。 Metric T
2020-02-23 13:38:02
原创 高性能IO模型淺析
服務器端編程經常需要構造高性能的IO模型，常見的IO模型有四種： （1）同步阻塞IO（Blocking IO）：即傳統的IO模型。 （2）同步非阻塞IO（Non-blocking IO）：默認創建的socket都是阻塞的，非阻塞IO
2020-02-23 13:38:02
原创 Java 7之基礎 - 強引用、弱引用、軟引用、虛引用
1、強引用（StrongReference） 強引用是使用最普遍的引用。如果一個對象具有強引用，那垃圾回收器絕不會回收它。如下： [java] view plain copy print? O
2020-02-23 13:38:02
原创 Storm 1.0.0 發佈
The Apache Storm community is pleased to announce that version 1.0.0 Stable has been released and is available from th
2020-02-23 13:38:02
原创 Hadoop HDFS本地存儲目錄結構解析
HDFS metadata以樹狀結構存儲整個HDFS上的文件和目錄，以及相應的權限、配額和副本因子（replication factor）等。本文基於Hadoop2.6版本介紹HDFS Namenode本地目錄的存儲結構和Datanode
2020-02-23 13:38:02
原创 大數據場景下linux雙網卡bond接入實踐
01 雙網卡bond調優背景 雙網卡綁定技術較早在各個主機操作系統引入，如HP-UNIX的APA、IBM的EtherChannel，linux上也有對應bond技術。通過雙網卡綁定，一方面利用主備網卡自動切換可以提高網
2020-02-23 13:38:02
1
原创 Kerberos HBase集羣Bulk Load權限問題
我們在使用HBase Bulkload工具進行數據導入時，最後一步會調用LoadIncrementalHFiles的doBulkLoad方法完成HFile move到regionserver的region目錄下，但是對於啓用Kerbero
2020-02-23 13:38:02
原创 Kafka生產者性能優化之吞吐量VS延遲
When we are talking about performance of Kafka Producer, we are really talking about two different things: latency: ho
2020-02-23 13:38:02