原创 分庫、分表、分片的理解

分庫 垂直分庫: 垂直分庫就是根據業務耦合性,將關聯度低的不同表存儲在不同的數據庫。做法與大系統拆分爲多個小系統類似,按業務分類進行獨立劃分。與"微服務治理"的做法相似,每個微服務使用單獨的一個數據庫。 庫內分表 垂直分表: 是基

原创 Elasticsearch定時刪除數據

腳本代碼 #!/bin/bash # filename:deleteEsData.sh # 每天2點定時刪除es中指定日期的數據 # crontab: 0 2 * * * sh /home/scripts/deleteEsData

原创 linux 根目錄擴容方法

準備知識 linux volume 1.(PV)physical volume disk ; 物理硬盤 物理硬盤需要轉換成lvm(logic volume manage)可識別的狀態,將磁盤的syste

原创 Mysql數據磁盤不足,不停機擴容方案

方法一:使用LVM邏輯卷管理擴容 首先查看磁盤分區是否是LVM 方法1: [root@test1 ~]# vgdisplay --- Volume group --- VG Name cent

原创 Invalid character found in method name. HTTP method names must be tokens

報錯信息 Jul 02, 2019 4:28:56 AM org.apache.coyote.http11.AbstractHttp11Processor process INFO: Error parsing HTTP requ

原创 df 和 du 顯示的磁盤空間使用情況不一致的原因及處理(文件刪除後磁盤空間不釋放)

文件刪除後磁盤空間不釋放 du 和 df 的工作原理 du的工作原理 du命令會對待統計文件逐個調用fstat這個系統調用,獲取文件大小。它的數據是基於文件獲取的,所以有很大的靈活性,可以針對多個分區,跨越多個分區操作。 注意:

原创 搭建Zookeeper集羣

CentOS7.5搭建Zookeeper3.4.12集羣與命令行操作 一. 分佈式安裝部署 1.0 下載地址 官網首頁: https://zookeeper.apache.org/ 下載地址: http://mirror.bit.

原创 Weave+Docker部署項目

Docker的部署比較麻煩的地方就是網絡, 容器雖然極大的節約了資源,提高了安全性,但是由於每一個容器都是一個獨立的環境,其網絡也是獨立的網絡,和其他容器進行通信成了一個難題. 還好針對這個問題,各個公司提出的解決方案也比較多,

原创 Gitlab+Jenkins用鉤子實現自動部署

    系統環境: Gitlab主機 IP:192.168.1.2 用ssh密鑰連通兩臺主機ip1.2和ip1.3。 jenkins主機 IP:192.168.1.3 用ssh密鑰連通兩臺主機ip1.3和ip1.4

原创 RabbitMQ創建鏡像隊列實現高可用

集羣搭建參考 https://blog.csdn.net/AnY11/article/details/83065850 登錄rabbitmq管理界面 Virtual host: 可選參數,針對指定vhost下的queue進行設置

原创 FastDFS Tracker端配置文件詳解及啓動注意事項

今天進行了FastDFS的tracker端的配置,代碼發送如下: # is this config file disabled # false for enabled # true for disabled disabled=fals

原创 linux搭建ntp時間服務器來同步每個服務器的時間

時間服務器作用: 大數據產生與處理系統是各種計算設備集羣的,計算設備將統一、同步的標準時間用於記錄各種事件發生時序, 如E-MAIL信息、文件創建和訪問時間、數據庫處理時間等。 大數據系統內不同計算設備之間控制、計算、處理、應用等數據

原创 GitLab使用教程(詳細)

目錄一、基本操作 1.登錄:2.修改密碼:二、項目管理1.新建項目2.編輯或刪除項目三、用戶管理(管理員使用,非管理員跳過此步驟)1.新建用戶2.編輯和刪除用戶四、組管理(管理員使用,非管理員跳過此步驟)1.新建組2.編輯或刪除組

原创 強制找回GitLab管理員賬戶密碼的方法

爲了開發運維工具,我們採用自行搭建的GitLab來管理所有代碼。悲催的是最近忘記了管理員賬戶的密碼,而且沒有郵件服務器,因此無法接收密碼找回的郵件,導致無法新建用戶或者項目,這樣一來,豈不就成爲了一個”永不能擴展”的代碼庫?難道

原创 RainLoop Webmail---基於WEB的電子郵件客戶端

在Linux中安裝RainLoop Webmail 第1步: 安裝Apache,Mysql和Php 安裝Apache # yum install httpd 配置文件:/etc/httpd/conf/httpd.conf 啓動htt