原创 sql語句優化的30種方法【轉】

1.對查詢進行優化,應儘量避免全表掃描,首先應考慮在 where 及 order by 涉及的列上建立索引。 2.應儘量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進行全表掃描。 3.應儘量避免在 where 子

原创 delete 表數據,磁盤空間爲什麼沒有被釋放?【轉】

最近有個上位機獲取下位機上報數據的項目,由於上報頻率比較頻繁且數據量大,導致數據增長過快,磁盤佔用多。 爲了節約成本,定期進行數據備份,並通過delete刪除表記錄。 明明已經執行了delete,可表文件的大小卻沒減小,令人費解 項目中使用

原创 Tomcat調優總結(Tomcat自身優化、Linux內核優化、JVM優化)【轉】

Tomcat自身的調優是針對conf/server.xml中的幾個參數的調優設置。首先是對這幾個參數的含義要有深刻而清楚的理解。以tomcat8.5爲例,講解參數。 同時也得認識到一點,tomcat調優也受制於linux內核。linux內核

原创 MySQL的在sync_binlog!=1造成1236報錯【轉】

前言 本文總結了主從複製的原理及日常運維的坑 1.主從複製簡介 MySQL 複製是指從一個 MySQL 主服務器(master)將數據拷貝到另一臺或多臺 MySQL 從服務器(slaves)的過程,將主數據庫的 DDL 和 DML 操作通

原创 使用 Dockerfile 定製鏡像【轉】

前言 大家好,本文是對 Docker 自定義鏡像的詳細講解,講解了如何進行構建自己的 Docker 鏡像以及 Dockerfile 的操作指令。希望對大家有所幫助~ 一、使用 Dockerfile 定製鏡像 1.1、Dockerfile 定

原创 10 個優化技巧,減少 Docker 鏡像大小【轉】

什麼是 docker? Docker 是一種容器引擎,可以在容器內運行一段代碼。Docker 鏡像是在任何地方運行您的應用程序而無需擔心應用程序依賴性的方式。 要構建鏡像,docker 使用一個名爲 Dockerfile 的文件。Docke

原创 pg_rman備份及恢復【轉】

前言 pg_rman是一款開源的備份恢復軟件,支持在線和基於PITR的備份恢復方式 1.pg_rman介紹 pg_rman是一款開源的備份恢復軟件,支持在線和基於PITR的備份恢復方式。pg_rman類似於oracle的rman,可以進

原创 Ansible:更快點,執行過程分析、異步、效率優化【轉】

Ansible你快點:Ansible執行過程分析、異步、效率優化 Ansible雖然方便,但有個"爲人詬病"的問題:任務執行速度太慢了,在有大量任務、大量循環任務時,其速度之慢真的是會讓人等到崩潰的。 Ansible官方給了一些優化選項供用

原创 Kafka消息可視化工具:Offset Explorer(原名kafka Tool)的使用方法【轉】

Offset Explorer(以前稱爲Kafka Tool)是一個用於管理和使用Apache Kafka®集羣的GUI應用程序。 它提供了一個直觀的界面,允許用戶快速查看Kafka集羣中的對象以及集羣主題中存儲的消息。 它包含面向開發人員

原创 MySQL從庫延遲案例分析【轉】

背景介紹 近來一套業務系統,從庫一直處於延遲狀態,無法追上主庫,導致業務風險較大。從資源上看,從庫的CPU、IO、網絡使用率較低,不存在服務器壓力過高導致回放慢的情況;從庫開啓了並行回放;在從庫上執行show processlist看到沒有

原创 MySQL主從延遲調優思路【轉】

1、什麼是主從延遲? 本質是從庫的回放跟不上主庫,回放階段的延遲 2、主從延遲常見的原因有哪些? 1、大事務,從庫回放時間較長,導致主從延遲 2、主庫寫入過於頻繁,從庫回放跟不上 3、參數配置不合理 4、主從硬件差異 5、網絡延遲 6、表

原创 Flume 整合 Kafka_flume 到kafka 配置【轉】

1.背景先說一下,爲什麼要使用 Flume + Kafka? 以實時流處理項目爲例,由於採集的數據量可能存在峯值和峯谷,假設是一個電商項目,那麼峯值通常出現在秒殺時,這時如果直接將 Flume 聚合後的數據輸入到 Storm 等分佈式計算框

原创 PG主從搭建【轉】

前言 ❝ PostgreSQL在9.x之後引入了主從的流複製機制,流複製同步方式有同步、異步兩種 1.主從流複製介紹 在流複製中,三種類型的進程協同工作:1.主服務器上的walsender進程將WAL(預寫日誌)數據發送到備用服務器。2.

原创 生產事故-記一次特殊的OOM排查【轉】

0x01 事故背景 2023年3月10日14時19分,C公司開發人員向A公司開發人員反映某開放接口從2023年3月10日14時許開始無法訪問和使用。該系統爲某基礎數據接口服務,基於 HTTP 協議進行通信。按照慣例,首先排查網絡是否異常,

原创 NGINX的速率限制(限流)【轉】

NGINX 的速率限制(限流) NGINX最有用但經常被誤解和配置錯誤的功能之一是限流。它允許您限制用戶在給定時間段內可以發出的HTTP請求量。 限流可以用於安全目的,例如減慢暴力破解密碼的攻擊。它可以通過限制請求速率爲真實用戶的典型值來幫