原创 Redis 集羣安裝配置及調研記錄 原

Redis簡介 REmote DIctionary Server(Redis) Redis是一個開源的使用ANSI C語言編寫、遵守BSD協議、支持網絡、可基於內存亦可持久化的日誌型、Key-Value數據庫，並提供多種語言的API。通常

2018-12-02 21:06:19

原创 MySQL 數據庫中間件 安裝部署測試全過程 原

1、環境準備 1.1、操作系統環境 [root@MyCat conf]# uname -a Linux MyCat 2.6.32-431.el6.x86_64 #1 SMP Sun Nov 10 22:19:54 EST 2013 x

2018-12-02 21:06:19 2

原创 Docker 基礎及安裝 原

Docker 是一個開源工具，它可以讓創建和管理 Linux 容器變得簡單。容器就像是輕量級的虛擬機，並且可以以毫秒級的速度來啓動或停止。Docker 幫助系統管理員和程序員在容器中開發應用程序，並且可以擴展到成千上萬的節點。 容器和 VM

2018-12-02 21:06:19

原创 MySQL 備份恢復 原

MySQL備份恢復 1、直接CP備份(冷備)恢復 檢查備份前數據庫狀態 mysql> show databases; mysql> use test; mysql> show tables; 向所有表施加讀鎖 mysql> fl

2018-12-02 21:06:19 5

原创 Prometheus + Grafana 監控 Linux 和 MySQL 安裝配置 原

一、介紹Prometheus Prometheus（普羅米修斯）是一套開源的監控&報警&時間序列數據庫的組合，起始是由SoundCloud公司開發的。隨着發展，越來越多公司和組織接受採用Prometheus，社區也十分活躍，他們便將它獨立成

2018-12-02 21:06:19 40

原创 Redis 基礎入門 原

爲什麼需要Redis 傳統的關係數據庫MySQL，ORacle等的數據主要還是存儲在磁盤上，雖然數據庫各自都帶有緩存功能，但隨着業務量的增大，數據庫自身的緩存終將成爲瓶頸，次數如果要提供應用的效率，降低數據庫的讀寫次數，就需要引入緩存技術。

2018-12-02 21:06:19

原创 RTDB 實時數據庫RTDB（Real-Time Data Base）基礎 原

實時數據庫RTDB（Real-Time Data Base）是數據和事務都有定時特性或顯示的定時限制的數據庫。它適用於處理不斷更新的快速變化的數據及具有時間限制的事務處理。RTDB的本質特徵就是定時限制，定時限制可以歸納爲兩類：一類是與事務

2018-12-02 21:06:19

原创 各種視頻監控上牆方案的比較 原

方案1、一使用 DVR 、NVR 直接顯示上牆 不得不說，這種辦法是成本最低廉的，但這裏有不少限制： 無法實現分散點的集中上牆。譬如連鎖經營的酒店，如果我在總部建立一個集中上牆的環境，這個就很麻煩了。這裏面要考慮的地方非常多，包括網絡環境、

2018-12-02 21:06:19

原创 Hive 數據傾斜 和常用優化策略 原

Hive的數據傾斜 數據分佈不均勻，造成數據熱點，引起性能問題。Jobs 數比較多的作業運行效率相對比較低。主要表現爲，任務進度長時間維持在 99%或者 100%的附近，查看任務監控頁面，發現只有少量 reduce 子任務未完成，因爲其處理

2018-12-02 21:06:19

原创 Hive 高級應用及分析窗口函數 原

Hive高級應用 1、支持複雜數據類型 array，map，struct 支持對應複雜數據類型的遍歷和查詢 2、支持視圖 3、函數 3.1、豐富的內置函數 3.2、支持自定義Java處理類，以jar文件的方式添加至Hive，定義臨時函數關聯

2018-12-02 21:06:19

原创 MySQL 數據庫中間件 MyCAT 基礎解析 原

  前言 網絡應用持續擴張的過程中，爲了處理海量數據往往首先遇到的挑戰就是數據存儲的擴展 數據存儲的擴展一般以切分來實現，切分的技術實現又可分爲垂直切分和水平切分： 以表(或Schema)爲切分粒度的是垂直切分 以表內行爲切分粒度的是水

2018-12-02 21:06:19

原创 Grafana 度量儀表盤和圖形編輯器安裝配置 原

1、Grafana介紹 Grafana 是基於JS開發的，功能齊全的度量儀表盤和圖形編輯器，幫助開發人員發現問題的工具 Grafana是一個可視化面板（Dashboard），有着非常漂亮的圖表和佈局展示，功能齊全的度量儀表盤和圖形編輯器，支

2018-12-02 21:06:19 1

原创 Ansible 基礎入門及安裝 原

Ansible ：一個配置管理和IT自動化工具 ansible是新出現的自動化運維工具，基於Python開發，集合了衆多運維工具（puppet、cfengine、chef、func、fabric）的優點，實現了批量系統配置、批量程序部署、批

2018-12-02 21:06:19

原创 MySQL Replication 梳理詳解 原

MySQL Replication 1 MySQL5.5以前的複製 異步、SQL線程串行化回放 MySQL內建的複製功能是構建大型，高性能應用程序的基礎。主服務器將更新寫入二進制日誌文件，從服務器重新執行一遍來實現的 1.1 MySQ

2018-12-02 21:06:19

原创 MySQL 安裝配置 Windows下免安裝配置 原

1    安裝MySQL軟件 1.1    下載MySQL 依據ipems_dvp產品選型需求，選擇mysql-5.7.17-winx64。可自行從網上下載，也可從公司拷貝，以下爲下載目錄和公司歸檔目錄。 下載地址：https://down

2018-12-02 21:06:02