原创 MySQL 8 複製(二)——半同步複製

目錄   一、簡介 二、性能提升 1. 支持發送二進制日誌事件和接收ACK的異步化 2. 控制主庫接收確認反饋從庫的數量 3. 二進制日誌互斥鎖改進 三、數據一致性 1. 源碼剖析 2. rpl_semi_sync_master_wait

原创 MySQL 8 複製(三)——延遲複製與部分複製

目錄 一、延遲複製 1. 延遲複製簡介 2. 延遲複製時間戳 3. 監控延遲複製 二、部分複製 1. 簡介 2. 評估數據庫級複製和二進制日誌選項 3. 評估表級複製選項 4. 複製規則應用 5. 部分複製示例 三、主從切換 1. 計劃內

原创 MySQL 8 複製(四)——GTID與複製

目錄 一、GTID簡介 1. 什麼是GTID 2. GTID的格式與存儲 二、GTID生命週期 1. 典型事務的GTID生命週期 2. GTID分配 3. gtid_next系統變量 4. gtid_purged系統變量 三、GTID自動

原创 Redis Cluster FlushAll失敗

轉自:http://longlongblog.cn/2017/11/01/58/ 問題背景 Flush是一個極少用到的操作,不過既然碰到過詭異的現象,也記錄在此。 問題場景是在Reids Cluster中使用主從模式,向主節點發送flus

原创 初學乍練redis:Redis 5 Cluster手工指定主從關係

1. 檢查當前Cluster的主從關係 /home/redis/redis-5.0.3/src/redis-cli -a 123456 --cluster check 140.210.73.39:20001         結果如下:

原创 初學乍練redis:Redis 5.0.3單實例數據遷移到Cluster

        在使用redis 3時,可以使用redis-migrate-tool工具做redis在線數據遷移(參考https://wxy0327.blog.csdn.net/article/details/84138537)。但是我們

原创 初學乍練redis:使用rdr查看Redis key內存使用

一、問題提出              有一個生產系統的Redis實例內存使用超限引發報警,需要查看各個key所使用的內存分佈情況,以便採取進一步的措施。 二、安裝RDR                 Redis原生並沒提供查看單個Ke

原创 快速生成日期維度數據

        日期維度在數據倉庫中是一個特殊角色。日期維度包含時間概念,而時間是最重要的,因爲數據倉庫的主要功能之一就是存儲和追溯歷史數據,所以每個數據倉庫裏的數據都有一個時間特徵。裝載日期數據有三個常用方法:預裝載、每日裝載一天、從源

原创 觸類旁通Elasticsearch:管理

目錄 一、模板 二、動態映射 三、分配感知 四、監控 1. 檢查集羣健康狀況 2. 慢日誌、熱線程和線程池 3. 內存 4. 操作系統緩存 5. 存儲限流 五、備份與恢復 1. 快照API 2. 將數據備份到共享的文件系統 3. 從備份中

原创 觸類旁通Elasticsearch:優化

目錄 一、合併請求 1. 批量操作(bulk) 2. 多條搜索和多條獲取 二、優化Lucene分段的處理 1. refresh和flush 2. 合併以及合併策略 三、緩存 1. 過濾器和過濾器緩存 2. 分片查詢緩存 3. JVM堆和操

原创 觸類旁通Elasticsearch:擴展

目錄 一、添加節點 二、節點發現 1. 廣播 2. 單播 3. 選舉主節點 4. 錯誤識別 三、刪除節點 1. 丟失節點 2. 停用節點 四、升級節點 五、使用_cat API 六、擴展策略 1. 過度分片 2. 將數據切分爲索引和分片

原创 觸類旁通Elasticsearch:關聯

目錄 一、文檔間關係概覽 1. 對象類型 2. 嵌套類型 3. 父子關係 4. 反規範化 二、將對象最爲字段值 1. 映射和索引對象 2. 搜索對象 三、嵌套類型 1. 映射並索引嵌套文檔 2. 搜索和聚合嵌套文檔 四、父子關係 1. 子

原创 觸類旁通Elasticsearch:聚合

目錄 一、聚合的結構 二、度量集合 三、桶型聚合 四、嵌套聚合 1. 多桶聚合 2. 單桶聚合 《Elasticsearch In Action》學習筆記。         熟悉SQL的用戶一定對聚合不會陌生,簡單說任何應用於group

原创 觸類旁通Elasticsearch:打分

目錄 一、ES打分機制 1. TF-IDF 2. 其它打分方法 二、boosting 三、explain 四、再打分 五、function_score 六、使用腳本排序 《Elasticsearch In Action》學習筆記。    

原创 觸類旁通Elasticsearch:分析

目錄 一、什麼是分析 二、分析文檔 三、分析API 四、分析器、分詞器、分詞過濾器 1. 內置分析器 2. 分詞器 3. 分詞過濾器 五、N元語法、側邊N元語法、滑動窗口 七、IK中文分詞插件 《Elasticsearch In Acti