原创 使用Python腳本進行es數據清理

需求背景 業務系統將各類的報表和統計數據存放於ES中,由於歷史原因,系統每天均以全量方式進行統計,隨着時間的推移,ES的數據存儲空間壓力巨大。同時由於沒有規劃好es的索引使用,個別索引甚至出現超過最大文檔數限制的問題,現實情況給運維人員帶來

原创 使用Helm簡化K8S應用管理

一、背景介紹 在使用純手工維護yaml文件方式完成內網開發和兩套測試環境和現網生成環境的核心微服務pod化之後。發現主要痛點如下:1、工作負載相關的yaml文件維護量巨大,且易出錯。(目前內網共有77個工作負載) 2、研發人員對工作負載配

原创 使用init-containers滿足程序猿剛需

隨着現網生產環境容器化改造逐步完成,核心的業務都由K8S集羣中的pod對外提供服務。各個微服務應用間的內部資源調用次數、調用鏈耗時、調用閾值告警、超時錯誤等信息指標對保障業務健康運行來說顯得非常重要。由於現網使用的是雲容器引擎服務,公有云

原创 使用rancher滿足程序猿剛需

通過將近1個季度的努力,基本上完成了內網開發、測試以及生產環境(藉助公有云容器引擎服務)關鍵服務容器化工作。 在這個過程中,本來是把已經驗證過的技術和方案進行落地,只是執行上的問題。但是研發大爺在使用過程中又提出了許多新的需求,見招拆招之

原创 K8S問題集錦

通過在內網自建K8S環境及使用華爲雲CCE對現網平臺進行一輪容器化改造測試後,積累一些k8s的常見問題和應對方案,整理如下。 問題一、POD時間同步問題 容器內部時間和node節點的系統時間不一致,這個問題其實不是k8s問題,單純使用d

原创 K8S網絡NAT問題分析與處理

在K8S環境中(集羣環境爲自建),node節點上的pod網絡互聯互通是採用網絡插件結合etcd實現的。 默認情況下pod訪問集羣外部的網絡(例如:訪問百度)走的是對應node節點的nat規則。 最近收到研發反饋的需求,由於我們mysql這

原创 kube-proxy配置 ipvs模式

在k8s中,提供相同服務的一組pod可以抽象成一個service,通過service提供的統一入口對外提供服務,每個service都有一個虛擬IP地址(clusterip)和端口號供客戶端訪問。 Kube-proxy存在於各個node節點

原创 RHEL5 下構建PPTP ***服務器

2010年2月5日,在農曆新年來臨之前,重新整理了下pptp ***的配置文檔,因爲前段配置open***的關係,本次使用的環境同open***使用的一致,之前的配置未提及修改路由部分,本次更新也涉及到了修改路由,(明顯感覺自己在進步,哈哈

原创 淺談Oracle綁定變量

綁定變量在OLTP環境下,被廣泛的使用;這源於OLTP的特點和sql語句的執行過程,OLTP典型的事務短,類似的sql語句執行率高,併發大;oracle在執行sql語句前會對sql語句進行hash運算,將得到的hash值和share poo

原创 淺談apache與tomact的整合

一般來講,配置apache和tomcat的整合有三種方式,mod_proxy,mod_ajp和mod_jk等三種方式,前2種配置步驟類似且相對容易,且只支持apache2.2以後的版本,mod_jk則配置相對複雜,但強在穩定性和性能方面,因

原创 測試組合索引

測試背景:生產數據庫的會員表和產品表中存在三個CLOB字段(這些字段主要用來存會員和產品的描述信息),隨着數據量的增長,全表掃描的時候,I/O等待嚴重,於是想到分表! 提出問題:這兩張大表,加起來的索引總共有35個,其中會員表的索引數爲17

原创 淺談Oracle執行計劃

要對sql語句進行分析,首先就是要去看sql語句的執行計劃是否存在問題,oracle在10g之後,默認採用CBO基於代價的優化器,sql語句的執行計劃根據統計信息分析來決定,如果統計信息未收集,則採取動態採樣的方式來決定最優的執行計劃! 一

原创 GoldenGate單向複製配置

本文中將演示下使用ogg在兩臺oracle 10g數據庫服務器間實現單向複製的配置! 一:環境介紹 db1:source端 ip地址:192.168.123.10 數據庫版本:10.2.0.1 64 bit 操作系統版本:cento

原创 配置Oracle ACFS集羣文件系統

首先來看下,神馬是ACFS,請看oracle官方給出的定義: Oracle Automatic Storage Management Cluster File System (Oracle ACFS) is a multi-platfor

原创 Mysql5.5部署MHA

MHA分管理節點和數據庫節點,數據庫節點由mysql主從或者主主從構成,當主庫掛掉後,管理節點會自動將從節點提升爲主節點;管理節點的角色類似於oracle數據庫中的fast start failover中的observer,但mha上層可以