原创 TiDB簡介
由於目前的項目把mysql換成了TiDb，所以特意來了解下tidb。其實也不能說換，由於tidb和mysql幾乎完全兼容，所以我們的程序沒有任何改動就完成了數據庫從mysql到TiDb的轉換，TiDB 是一個分佈式 NewSQL (SQL
2019-07-28 12:51:36
原创 僞分佈式系列 - 第一篇 - hadoop-3.2.0環境搭建
目錄Hadoop的三種運行模式單機模式僞分佈式模式全分佈式集羣模式環境準備系統環境ssh免密碼連接防火牆關閉jdk安裝配置相關環境變量配置安裝包下載Hadoop配置解壓hadoop文件配置linux環境配置啓動服務格式化NameN
2019-07-28 12:51:36
1
原创 YARN Federation
介紹 衆所周知，YARN可擴展到數千個節點。 YARN的可伸縮性由Resource Manager確定，並且與節點數，活躍的應用程序，活躍的容器和心跳頻率成比例。降低心跳可以提高可擴展性，但對利用率有害。本文檔描述了一種基於聯邦（fede
2019-07-28 12:51:36
原创 僞分佈式系列 - 第三篇 - spark-2.4.3環境搭建on hadoop3.2.0
目錄基礎環境搭建spark配置spark下載spark配置文件環境配置拷貝包yarn配置spark啓動測試 基礎環境搭建 基於前面的文章,hadoop已經搭建好,下面我們將進行spark on yarn搭建 下載並配置scala
2019-07-28 12:51:36
7
原创 僞分佈式系列 - 第四篇 - datax環境搭建,hive導入mysql測試
目錄簡介基礎環境搭建要求mysql安裝jdk安裝datax安裝配置官方文檔:https://github.com/alibaba/DataX下載配置基礎測試datax實現hive或者spark table到mysql導入hive表
2019-07-28 12:51:36
1
原创 僞分佈式系列 - 第二篇 - hive-2.3.5環境搭建on hadoop3.2.0
目錄基礎以來環境搭建Mysql搭建hive搭建hive包下載hive配置hive測試 基礎以來環境搭建 Mysql搭建 默認情況下, Hive的元數據保存在了內嵌的 derby 數據庫裏, 生產環境使用 MySQL 來存放 Hi
2019-07-28 12:51:36
1
原创 使用Eclipse Memory Analyzer Tool（MAT）分析線上故障(一) - 視圖&功能篇
Eclipse Memory Analyzer Tool（MAT）是一個強大的基於Eclipse的內存分析工具，可以幫助我們找到內存泄露，減少內存消耗。 工作中經常會遇到一些內存溢出、內存泄露等問題，同時還可能導致CPU使
2019-06-18 07:44:15
9
原创 Kylin優化-Cube裁剪優化(聚合組,聯合維度,層級維度,強制維度)
隨着維度數目的增加，Cuboid 的數量會爆炸式地增長。爲了緩解 Cube 的構建壓力，Apache Kylin 引入了一系列的高級設置，幫助用戶篩選出真正需要的 Cuboid。這些高級設置包括聚合組（Aggregation Group）
2019-04-03 06:24:07
原创 權限系統設計模型分析（DAC，MAC，RBAC，ABAC）
此篇文章主要嘗試將世面上現有的一些權限系統設計做一下簡單的總結分析，個人水平有限，如有錯誤請不吝指出。 術語 這裏對後面會用到的詞彙做一個說明，老司機請直接翻到常見設計模式。 用戶 發起操作的主體。 對象（Subject） 指操作所針對的
2019-04-02 06:28:09
1625