原创 43. 使用多進程

由於Python中全局解釋器鎖(GIL)的存在,在任意時刻只允許一個線程在解釋器中運行,因此Python的多線程不適合處理CPU密集型的任務。 要求:想要處理CPU密集型的任務,可以使用多進程模型。 解決方案: 使用標準庫中mul

原创 k8s部署kafka集羣

k8s以StatefulSet方式部署kafka集羣: kafka-namespace.yaml apiVersion: v1 kind: Namespace metadata: name: kafka zookeeper-

原创 k8s部署rabbitmq集羣

阿里雲創建NAS共享存儲的StorageClass: apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: alicloud-nas-subpath-

原创 k8s部署zookeeper集羣

k8s以StatefulSet方式部署zookeeper集羣: zookeeper-headless.yaml apiVersion: v1 kind: Service metadata: name: zk-hs labe

原创 elfk收集k8s日誌(三)

本文介紹通過elk + filebeat方式收集k8s日誌,其中filebeat以sidecar方式部署。elfk最新版本:7.6.2 k8s日誌收集方案 3種日誌收集方案: 1. node上部署一個日誌收集程序

原创 elfk收集k8s日誌(二)

本文介紹通過elk + filebeat方式收集k8s日誌,其中filebeat以sidecar方式部署。elfk最新版本:7.6.2 k8s日誌收集方案 3種日誌收集方案: 1. node上部署一個日誌收集程序

原创 elfk收集k8s日誌(一)

本文介紹通過elk + filebeat方式收集k8s日誌,其中filebeat以logagent方式部署。elfk最新版本:7.6.2 k8s日誌收集方案 3種日誌收集方案: 1. node上部署一個日誌收集程序

原创 2. 影響mysql性能的因素

影響mysql性能的幾個方面: 1. 服務器硬件 2. 服務器操作系統 3. 數據庫存儲引擎 4. 數據庫參數配置 5. 數據庫結構設計和SQL語句 服務器硬件: 1. CPU: CPU密集型的應用,應選

原创 1. mysql性能問題

影響數據庫的因素: sql查詢速度 服務器硬件 網卡流量 磁盤IO 風險: 1. 超高的QPS和TPS → 效率低下的SQL QPS:每秒鐘處理的查詢量 TPS:每秒中的響應請求量 2. 大量的併發 → 數據庫

原创 mysql詳解

mysql命令 mysql登錄參數: -D, --database 指定數據庫 --delimiter 指定分隔符 -h, --host 指定服務器地址

原创 mycat部署

mycat介紹 mmycat是阿里開源的一個分佈式數據庫中間層。 作用: 實現數據庫的讀寫分離 支持讀負載均衡、後端mysql高可用 數據庫垂直拆分、水平拆分 應用場景: 需要讀寫分離 需要分庫分表 多租戶 數

原创 29. 讀寫excel文件

Excel是日常辦公中使用最頻繁的軟件之一,其數據格式爲xls、xlsx,是一種非常常用的電子表格。例如: 姓名 語文 數學 英語 李雷 95 99 96 韓梅 98 1

原创 39. 線程間通信

前面我們已經通過多個線程下載csv數據並轉換爲xml文件。 在Python中由於全局解釋器鎖(GIL)的存在,多線程進行CPU密集型操作並不能提高執行效率,我們修改程序框架: 使用多個DownloadThread線程進行下載(

原创 38. 使用多線程

例如,我們通過 https://intrinio.com/tutorial/web_api 這個網址提供的api獲取股市信息的csv數據,現在要下載大量csv數據文件,並將其轉換爲xml文件。 要求:使用多線程來提高下載並處理的效

原创 40. 在線程間進行事件通知

在之前通過使用多個DownloadThread線程進行下載(I/O)及使用一個ConvertThread線程進行轉換(CPU),我們達到了多線程下載csv數據並轉換爲xml文件的目的。但現在有額外的要求: 實現一個打包線程TarT