原创 CDH 5.x 完全卸載指南

注意備份用戶數據 建議在卸載CDH前,先備份或轉移集羣上的用戶數據。以下路徑是默認安裝配置下的用戶數據所在目錄: /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/

原创 平臺級 SAAS 架構的基礎:統一身份管理系統

業內在用戶統一身份認證及授權管理領域,主要關注 4 個方面:集中賬號管理(Account)、集中認證管理(Authentication)、集中授權管理(Authorization)和集中審計管理(Audit), 簡稱 4A 管理。後來發展

原创 分佈式系統概念介紹

1、CAP Consistency 一致性 Availability 可用性 Partition tolerance 分區容錯性 CA 單點集羣 PostgreSQL MySql CP MongoDB redis HBase Me

原创 Mac OS X 10.11+ Rootless 介紹

Rootless Mac OS X 10.11+ (El Capitan) 以後,引入了 Rootless 安全機制,該機制限制了 root 用戶的權限,有部分操作即使是 root 也無法執行。 該機制的詳細介紹,請參考: Wikiped

原创 CDH 5.x 離線安裝指南

簡述 hadoop 體系衍生了許多商業發行版,其中國內最常用的是 CDH。CDH是在原生 apache hadoop 的基礎上封裝的發行版,擁有 Cloudera Manager (簡稱CM,是一個管理、監控CDH運行的軟件),將 had

原创 Storm 性能優化

目錄 場景假設 調優步驟和方法 Storm 的部分特性 Storm 並行度 Storm 消息機制 Storm UI 解析 性能優化 場景假設 在介紹 Storm 的性能調優方法之前,假設一個場景: 項目組部署了3臺機器,計劃運行且僅

原创 git config 一種推薦方案

git config --global # 修改當前用戶的配置 sudo git config --system # 修改系統全局的配置 git config --list user.email=mtide@x

原创 mysql 主從複製配置實例

mysql 主從複製配置實例 mysql 主從複製配置,主要用於雙(多)機熱備份,所有讀寫操作都在主庫上執行,從庫只對主庫的數據進行復制。而讀寫分離配置,除了具備主從備份的功用,更重要的是讀和寫操作的分離,即主庫只寫,從庫只讀,從而減輕了

原创 微服務架構下的統一身份認證和授權

一、預備知識 本文討論基於微服務架構下的身份認證和用戶授權的技術方案,在閱讀之前,最好先熟悉並理解以下幾個知識點: 微服務架構相關概念:服務註冊、服務發現、API 網關 身份認證和用戶授權:SSO、CAS、OAuth2、JWT 文章在涉