原创 Fluentd的使用入門到熟練

1. fluentd fluentd是一個針對日誌的收集、處理、轉發系統。通過豐富的插件系統,可以收集來自於各種系統或應用的日誌,轉化爲用戶指定的格式後,轉發到用戶所指定的日誌存儲系統之中。 fluentd 常常被拿來和Log

原创 Elasticsearch索引調優和背後的原理

ES索引的調優目標ES集羣的部署參數調整問題:結論引用 目標 靈雀雲私有云平臺的日誌系統從4年前就在使用 Elasticsearch 作爲日誌的接收平臺,從2.X 到 5.6 再到 6.7。根據客戶實際日誌量,需要確定何等的集羣規

原创 elasticsearch 索引翻滾

1. 前言 關於es 的索引,我們在使用時最期望的就是均衡,尤其是大數據量的時候,我們常講查詢沒有銀彈,但是可以有好的實踐。Rollover Pattern,是一種,根據自定義策略去翻滾的方式,其工作方式和我們平時寫日誌的時候,日

原创 深入Docker容器運行時(一)

你也許對Docker命令很熟悉,但是你最好還是閱讀下本文。 Docker 用的有多普及本文就不贅述了。今天只談docker,不談OCI,不談CRI,不談kubelet。由簡入深。 1. 背景 自從 2013 年 docker 發佈

原创 Kubeedge概述

1. kubeedge是什麼 KubeEdge基於Kubernetes構建,並將容器化的應用編排和設備管理擴展到端上的主機。 它由雲端和邊緣端組成,爲網絡,應用的部署以及雲和邊緣之間的元數據同步提供架構支持。 它還支持MQTT,它

原创 Kubernetes 聯邦集羣 kubefed v2的使用

1. 描述 跨羣集同步資源: 通過將多個集羣組成一個聯邦,可以在多個羣集中的保持資源同步。 例如,可以確保多個羣集中部署相同的程序。 跨羣集發現:聯邦提供了自動配置DNS服務器和負載均衡器與所有羣集後端的功能。 2. 概念統一

原创 Fluentd的使用入門到不算精通

1. fluentd fluentd是一個針對日誌的收集、處理、轉發系統。通過豐富的插件系統,可以收集來自於各種系統或應用的日誌,轉化爲用戶指定的格式後,轉發到用戶所指定的日誌存儲系統之中。 fluentd 常常被拿來和Log

原创 如何理解灰度發佈

服務升級機制   在項目敏捷開發的過程中,不可避免需要快速、安全的更新應用,目前比較流行的幾種部署方案有: 滾動發佈、灰度發佈/金絲雀發佈和藍綠部署。 滾動發佈(目前中信銀行內部生產環境交易系統的發佈方式):   一般是取出一個或

原创 filebeat + elasticsearch + kibana日誌管理初探

1. 容器化部署elasticsearch docker run -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elast

原创 Docker容器跨主機通訊的幾種方式

Docker容器跨主機通訊的幾種方式前言:Docker的5種網絡模式BridgeHostNoneContainerNetwork1. 直接路由方式2. 基於OVS+GRE的大二層通信 前言:Docker的5種網絡模式 Bridge

原创 Activiti工作流引擎使用調研和一個Demo

Activiti調研以及雙人複合的Demo演示 1.說明 Activiti是一種業務流程管理(BPM)框架,它是覆蓋了業務流程管理、工作流、服務協作等領域的一個開源的、靈活的、易擴展的可執行流程語言框架。Activiti基於Apache許

原创 深入理解無服務器架構(Faas/Serverless)

摘要 無服務器架構(Faas/Serverless),是軟件架構領域的熱門話題。 AWS,Google Cloud和Azure - 在無服務器上投入了大量資金,已經在看到了大量專門針對Faas/Serverless的文章、書籍,開源項目,

原创 如何低成本的在Docker中運行TensorFlow

摘要: 運行深度學習算法的需要一些計算能力,這主要由GPU提供。 但是我想在雲計算的時代幾乎不會有人喜歡,從頭搭建那麼多複雜的技術棧,那些工具,而且一個Tesla還很貴,心血來潮買個大GPU,然後丟在那裏讓它生鏽麼?我們喜歡在在Dock

原创 百度地圖定位到了非洲的問題

使用百度地圖定位官網有詳細的demo。個人根據這個demo做了小改到,當即看到了結果。 第二天去單位上班,一打開,發現居然定位到了非洲西海岸。 晚上回到家,調了一下,發現BDLocation的getLocType返回值是一直是167。 不

原创 在Kubernetes集羣中使用GPU用於機器學習

隨着機器學習應用的普及,改善其開發和部署平臺對於提高機器學習應用的應用開發、測試以及上線效率提升非常關鍵,目前在看很多家AI企業正在研發其自身的深度學習PaaS平臺,Kubernetes作爲容器編排的入口,毫無疑問是最應該被支持的。值得