原创 redis集羣實戰
一、說明 redis 3.0集羣功能出來已經有一段時間了，目前最新穩定版是3.0.5，我瞭解到已經有很多互聯網公司在生產環境使用，比如唯品會、美團等等，剛好公司有個新項目，預估的量單機redis無法滿足，開發又不想在代碼層面做拆分，所
2018-09-11 09:03:46
原创 shadowsocks搭建及使用
一、***這個問題想必很多人都很痛苦，曾好幾次都因爲家裏沒有***，沒辦法打開aws的網站，深夜去公司處理故障，這幾天同事推薦了一款工具shadowsocks，說很好用，支持PC和移動端，今天搭起來體驗了一下，果然不出，把這個過程記錄下來。
2018-09-11 09:03:46
3
原创 阿里雲互通AWS全球region解決方案
一、背景說明我們公司是做全球化業務的公司，在中國我們用的阿里雲，在海外我們使用AWS，中國訪問海外的region資源，這是最基本的需求之一，在運維層面，領導要求一套平臺實現全球管理，也就是說我們的監控、發佈、跳板機等等所有運維工具只部署一套
2018-09-11 09:03:46
原创 ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction解決
一、問題描述： 同事反饋線上一個表有其中一條數據無法刪除，其他都正常，我拿到刪數據的sql，嘗試執行，報錯如下：mysql> delete from facebook_posts where id = 7048962; ERROR
2018-09-11 09:03:46
6
原创 rocketmq集羣部署（多master多slave異步）
一、最近公司在做隊列的技術選型，經過調研，決定使用rocketmq作爲整個架構的隊列層，我們之前的公司是用RabbitMQ，集羣部署參考我之前的文章：RabbitMQ集羣部署；rocketmq集羣由NameServer和Broker兩種角色
2018-09-11 09:03:45
1
原创 Spark on Yarn 安裝配置
1、說明這篇文章是在xxx基礎上進行部署的，需要hadoop的相關配置和依賴等等，Spark on Yarn的模式，Spark安裝配置好即可，在Yarn集羣的所有節點安裝並同步配置，在無需啓動服務，沒有master、slave之分，Spar
2018-09-11 09:03:44
4
原创 mongodb用戶權限管理
1、添加一個管理賬號mongo --host 127.0.0.1 --port 27000 use admin db.addUser('admin','123456')2、通過賬號登陸mongo --host 127.0.0.1 --po
2018-09-11 09:03:44
原创 redis高可用架構
一、背景 公司的業務在大量的使用redis，訪問量大的業務我們有在使用codis集羣，redis 3.0集羣，說到redis 3.0集羣，我們線上已經跑了半年多了，集羣本身沒有出現過任務問題，但是由於我們這個業務是海外的，集羣建在aws
2018-09-11 09:03:43
原创 Hadoop集羣部署實戰(cdh發行版)
一、概要 由於工作需要，最近一段時間開始接觸學習hadoop相關的東西，目前公司的實時任務和離線任務都跑在一個hadoop集羣，離線任務的特點就是每天定時跑，任務跑完了資源就空閒了，爲了合理的利用資源，我們打算在搭一個集羣用於跑離線
2018-09-11 09:03:41
原创 kafka節點假死
一、前言 早上醒來打開微信，同事反饋kafka集羣從昨天凌晨開始寫入頻繁失敗，趕緊打開電腦查看了kafka集羣的機器監控，日誌信息，發現其中一個節點的集羣負載從昨天凌晨突然掉下來了，和同事反饋的時間點大概一致，於是乎就登錄服務器開始幹
2018-09-11 09:03:41
原创 codis集羣部署實戰
一、概要1、折騰codis集羣已經快兩個月了，感謝一直以來codis的作者劉奇和黃東旭的耐心支持，在這裏給你們點個贊，現在我司已經有一個業務跑在了codis集羣上，目前只是切了整個業務的10%的量，預計下週會全量切到codis上，這個時候大
2018-09-11 09:03:40
原创 hbase高可用集羣部署（cdh）
一、概要 本文記錄hbase高可用集羣部署過程，在部署hbase之前需要事先部署好hadoop集羣，因爲hbase的數據需要存放在hdfs上，hadoop集羣的部署後續會有一篇文章記錄，本文假設hadoop集羣已經部署好，分佈式hba
2018-09-11 09:03:40
原创 mongdb備份恢復
一、物理備份（拷貝文件）#!/bin/sh DATE=`date +%Y%m%d` DEL_DATE=$(date -d '-30 days' "+%Y%m%d") HOST=10.10.17.27 PORT=27000 USER=admi
2018-09-11 09:03:40
原创 3proxy+nginx實現sock5爬蟲代理
sock5實現單一代理入口，通過多IP隨機出訪，適用於各種爬蟲、反防刷，節前最後一篇文章，廢話少說，走起！！！軟件下載cd /usr/local/src wget "http://3proxy.ru/0.7.1.1/3proxy-0.7.1
2018-09-11 09:03:39
原创 RabbitMQ集羣
一、前言 線上的 RabbitMQ用的是單節點，前段時間由於機器內存不足，發生了OOM，業務受到了影響，故打算換成 RabbitMQ集羣。RabbitMQ模式有三種，分別是：單一模式、普通模式、鏡像模式，鏡像模式纔是RabbitMQ
2018-09-11 09:03:39
3