原创 Greenplum數據庫擴容實務(下)-實施收尾

GP擴容的實施其實就是一條命令,最耗費時間的是實施之後的數據重分佈,也就是把數據從已有節點平衡到新的seg host上,這篇將描述實施、收尾過程,並給出些常見問題。 實施 檢查所有節點之間的網絡和磁盤性能 su - gpadmin gps

原创 如何解決Greenplum master node與seg node元數據不一致

作爲分佈式數據庫,Greenplum的元數據經常(是真的,經常遇到)會出現些錯誤,典型的一個是master node與seg node元數據不一致,本文結合一個具體錯誤,介紹下解決的辦法。 現象 使用gpcheckcat -p 5432

原创 與Greenplum度過的三個星期

5月4日-5月24日,斷斷續續折騰了三個星期的Greenplum,總算告一段落了:擴容,發現擴不成容,只好升級;升級,發現一堆錯誤,只好暫停修復數據庫;修好了,繼續升級;升完級,發現錯誤,修啊修啊修好了;最後,終於完成了擴容。這個過程裏寫

原创 如何解決Greenplum的gpcheckcat關於persistent的錯誤

Greenplum的gpcheckcat是用來檢查system catalog的一致性的命令,其中有專門針對磁盤文件的檢查($GPHOME/bin/lib/gpcheckcat -R persistent -p 5432 database

原创 如何解決Greenplum pg_dump備份時的分佈策略缺失等問題

Greenplum的元數據錯誤也會影響到數據備份過程,在使用pg_dump進行數據結構備份時,會由於分佈策略的缺失導致備份失敗,本文介紹此錯誤的解決辦法。 現象 使用pg_dump命令備份整個Greenplum數據庫的數據結構時: pg_

原创 Cloud Foundry buildpack開發部署實例解析

與service broker相比,buildpack的實務操作就容易多了,單就通用概念來說,其實用不着單寫一篇,但是處女座強迫症發作,所以還是寫一下,使CF這個框架對外擴展的兩個維度(代碼使用的服務和代碼運行的環境)是完整的。這篇主要會

原创 Pivotal Cloud Foundry安全原理解析

雲計算相關的技術幾乎都對傳統網絡架構和安全規則產生一定的衝擊,Pivotal Cloud Foundry(PCF)也不例外,去年8月爲了說服專業安全組織同意PaaS部署方案,特意爲他們深入講了下PCF的安全機制,雖然這種原理性的東西不符合

原创 Cloud Foundry service broker開發部署實例解析(下)

通過上篇,我們得到service broker的程序包,之後我們將其部署到CF上,得到真正能使用的市場服務。 發佈應用程序 將源代碼中的application.properties裏的spring.jpa.hibernate.ddl-a

原创 如何配置和使用Pivotal Cloud Foundry裏的HAPorxy(上)

Pivotal使用HAProxy作爲其訪問入口,當然是允許使用其他負載均衡軟件或硬件進行替換的。不過,基於怕麻煩和強迫症,個人還是用了HAProxy到最終的生產環境。爲了滿足特定的應用需求和可靠性需求,對負載均衡這一層做了一定的配置,本文

原创 Greenplum數據庫升級實務(上)

任何系統的升級都有個量變到質變的過渡:版本相差小的時候,通常很簡單,版本相差大的時候,就是一場噩夢。不過版本相差小的時候,大夥兒往往安於現狀。本文實際記錄從GP4.2.7.2到4.3.5.0的升級過程,從版本號看相差不大,但是GP的版本命

原创 如何配置和使用Pivotal Cloud Foundry裏的HAPorxy(下)

前一篇寫了HAProxy自己的LB和證書的使用,這篇主要是關於安全還有可靠性的。 多層負載均衡滿足安全需求和業務需求 企業的安全及防火牆策略對PCF來說是個災難,當然現在的版本已經有Availability Zone來覆蓋這一需求,但是下

原创 如何解決Greenplum中無法通過標準命令修復的元數據錯誤

Greenplum的可靠性還是沒法和傳統商業數據庫相比,它跑着跑着就會把自己的元數據給跑亂,有些是可以通過命令修復的,有些則只能直接去增刪改system catalog。本文結合一個具體錯誤,介紹如何操作system catalog解決元

原创 11家PaaS公有云供應商服務功能要點比較

在寫Cloud Foundry之前,先預熱一下。2014年7月,爲企業PaaS雲建設,個人對11家PaaS公有云供應商的服務內容進行了調查,共享出來,供進行PaaS項目建設的同仁參考。所有調查內容爲2014年7月的狀態,受限於項目建設目標

原创 Spring程序讀取Cloud Foundry服務信息示例代碼

Cloud Foundry提供的服務實例本質上就是訪問信息:IP、端口、用戶名、密碼等,使用的過程當然可以寫死在代碼或配置文件裏,但是高級一點兒的辦法當然是讓程序可以自動按照環境適配服務實例信息,切換數據庫,消息中間件,雲存儲等代碼連接的

原创 Cloud Foundry service broker開發部署實例解析(上)

Cloud Foundry(CF)通過buildpack擴展運行不同語言應用的能力,通過service broker(SB)擴展支持應用所需的各種關係數據庫、中間件、緩存、雲存儲、內存數據庫等各種服務的能力。這篇博文將從頭至尾介紹通用的S