原创 Hive體系結構（三）元數據庫與基本操作
Hive體系結構（一）架構與基本組成 Hive體系結構（二）Hive的執行原理、與關係型數據庫的比較 Hive體系結構（三）元數據庫與基本操作 Hive體系結構（四）注意事項與擴展特性 1. Hive元數據庫 Hive將
2020-06-19 00:55:02
原创 HiveQL基本操作整理
1. 創建操作 1.1 創建表 CREATE TABLE pokes (foo INT, bar STRING); 1.2 基於現有的表結構創建一個新表 create table new_table like records;
2020-06-19 00:55:02
原创 Kafka單機、集羣模式安裝詳解(二)
本文環境如下： 操作系統：CentOS 6 32位 JDK版本：1.8.0_77 32位 Kafka版本：0.9.0.1(Scala 2.11) 接上篇 Kafka單機、集羣模式安裝詳解(一) 6. 單節點多
2020-06-18 21:18:32
原创 java.util.ConcurrentModificationException異常分析
異常日誌 2016-07-20 15:02:41,278 (New I/O worker #197) [ERROR - org.apache.flume.source.AvroSource.appendBatch(AvroSou
2020-06-18 21:18:21
4
原创 Leet Code OJ 91. Decode Ways [Difficulty: Medium]
題目： A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' -> 1 'B' ->
2020-06-18 21:18:21
原创 關於Storm Tick
轉載自kqdongnanf-博客園；Email：[email protected]。 1. tick的功能 Apache Storm中內置了一種定時機制——tick，它能夠讓任何bolt的所有task每隔一段時間（精確到秒級
2020-06-18 21:18:21
1
原创 Flume性能測試報告
1. 測試環境 1.1 硬件 CPU：Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz（8核） 內存：16G 1.2 軟件 Flume：1.6.0 Hadoop：2.6.0-cdh5.5
2020-06-18 21:18:21
20
原创 CentOS下Hive2.0.0集羣模式安裝詳解
本文環境如下： 操作系統：CentOS 6 32位 Hive版本：2.0.0 JDK版本：1.8.0_77 32位 Hadoop版本：2.6.4 MySQL版本：5.6.30 1. 準備工作 1.
2020-02-21 01:44:34
原创 Kafka單機、集羣模式安裝詳解(一)
本文環境如下： 操作系統：CentOS 6 32位 JDK版本：1.8.0_77 32位 Kafka版本：0.9.0.1(Scala 2.11) 1. 所需要的環境 Kafka需要以下運行環境： Java
2020-02-21 01:44:33
原创 HDFS High Availability體系介紹(Using the Quorum Journal Manager)
一、背景 HDFS集羣中只有一個Namenode，這就會引入單點問題；即如果Namenode故障，那麼這個集羣將不可用，直到Namenode重啓或者其他Namenode接入。 有兩種方式會影響集羣的整體可用性： 1. 意外
2020-02-21 01:44:22
原创 Hive體系結構（二）Hive的執行原理、與關係型數據庫的比較
Hive體系結構（一）架構與基本組成 Hive體系結構（二）Hive的執行原理、與關係型數據庫的比較 Hive體系結構（三）元數據庫與基本操作 Hive體系結構（四）注意事項與擴展特性 1. Hive執行原理 Hive
2020-02-21 01:44:22
原创 YARN體系學習筆記
一、基本組成結構 1. ResourceManager 負責對各個NodeManager 上的資源進行統一管理和調度。包含兩個組件： * Scheduler：調度器根據容量、隊列等限制條件（如每個隊列分配一定的資源，最多執行一定
2020-02-21 01:44:21
原创 Flume學習筆記（一）安裝與簡單使用
本文環境如下： 操作系統：CentOS 7.2.1511 64位 Flume版本：1.6.0 1. 系統需求 Flume需要Java 1.6及以上（推薦1.7），對Agent監控目錄的讀寫權限。 2. 下載軟件包
2020-02-21 01:44:21
原创 15分鐘瞭解Apache Phoenix(HBase的開源SQL引擎)
翻譯自官方文檔(http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html)，翻譯的不好，望輕拍磚！ 什麼是Phoenix? Phoenix是一個HBase的開源SQL
2020-02-21 01:44:21
原创 Presto常用語句整理
查詢 從0或多個表獲取數據行 [ WITH with_query [, ...] ] SELECT [ ALL | DISTINCT ] select_expr [, ...] [ FROM from_item [, ...] ]
2020-02-21 01:44:21