原创 讓Logstash每次都從頭讀文件

input { file { path => ["/data/test.log"] start_position => "beginning" sincedb_path => "/

原创 詳解Gearman Job中的Unique

PHP GearmanClient GearmanClient客戶端庫會自動生成Unique,因此即使完全相同的請求內容,Job Server也會接收處理,比如下面兩個客戶端的調用,那麼test隊列中的任務數爲2 # 測試時先

原创 Mysql 主從出現故障

今天由於 slave 機異常掉電導致主從同步出現異常 在 slave mysql 上查看 slave 狀態: show slave status\G 發現 IO 線程正常,但是 SQL 線程 NO,錯誤如下: Last_SQL_

原创 mysql binlog in realtime

http://guweigang.com/blog/2013/11/18/mysql-binlog-in-realtime/ 衆所周知,MySQL是最受歡迎的互聯網數據庫(沒有之一)———————爲開源而生。發展初期,很多公司都受益

原创 SSD 下的 MySQL IO 優化

https://dbarobin.com/2015/08/29/mysql-optimization-under-ssd/ 一 目錄 一 目錄二 背景三 SSD 特性四 基於 SSD 的數據庫優化五 A 項目 MySQL 主從關係圖

原创 Linux系統中對SSD硬盤優化的方法

http://blog.csdn.net/whycold/article/details/24985943 這裏說的優化是針對EXT4格式,因爲看了很多國外網站的很多讀寫評測,目前來說,EXT4在SSD硬盤是最快的,所以推薦使用SS

原创 ES的一些優化經驗

億級規模的ES查詢優化實戰 能用filter就不用query filter拿到相應的doc後不計算score不用排序 query會對符合條件的doc計算score並進行排序 filter的查詢速度比query快很多 增加相

原创 58同城數據庫架構最佳實踐

http://geek.csdn.net/news/detail/52070 數據庫的基本概念 基本概念這一塊,主要是讓大家就一些數據庫方面的概念達成一致。 首先是“單庫”,最初的時候數據庫都是這麼玩的,幾乎所有的業務都有這樣

原创 Elasticsearch隨筆02

fields 自定義返回字段 { //"_source": false, //"_source": ["aa*", "bb*"] //"_source": ["username"] "fields"

原创 如何快捷的判斷一批索引中不存在的或 close 的索引

Elasticsearch查詢多個索引時,如果其中某個索引不存在或close,則該查詢直接返回 ”404 索引丟失“ 錯誤 如: GET /ocslog-2016.08.03,ocslog-2016.08.04,ocslog-20

原创 處理TAP國際漫遊話單的幾種類庫使用方法

snacc 這個庫比較早,最早是1997年,2002年的版本是1.4,後面沒有更新。在unix環境使用沒問題,在linux環境下編譯不過去。下面是unix環境下的使用方法。 - 升級make->gmake http://ftp.

原创 MySQL relay_log_purge=0 時的風險

http://ourmysql.com/archives/1453 有時候,我們希望將 MySQL 的 relay log 多保留一段時間,比如用於高可用切換後的數據補齊,於是就會設置 relay_log_purge=0,禁止 SQ

原创 xtrabackup新版詳細說明

http://www.cnblogs.com/billyxp/p/5305676.html   Percona Xtrabackup 2.4.1 編譯及軟件依賴 centos5,6 需要升級cmake至2.8.2版本以上,解決

原创 Twitter-Snowflake,64位自增ID算法詳解

Twitter-Snowflake算法產生的背景相當簡單,爲了滿足Twitter每秒上萬條消息的請求,每條消息都必須分配一條唯一的id,這些id還需要一些大致的順序(方便客戶端排序),並且在分佈式系統中不同機器產生的id必須不同。 S

原创 關於高可用的系統

原文地址:http://coolshell.cn/articles/17459.html 在《這多年來我一直在鑽研的技術》這篇文章中,我講述了一下,我這麼多年來一直在關注的技術領域,其中我多次提到了工業級的軟件,我還以爲有很多人會問我