原创 訪問服務器指向本地
症狀： 測試機訪問自己的服務器一直返回404，而且是標示是apache的服務器，而我們的機器不是apache。 wget， ping和traceroute，route等一切正常。 解決： 關閉ipv6,和關閉本地的httpd sysctl
2020-06-15 15:41:18
原创 Storm實踐
業務場景： 讀取nginx日誌，根據$HOST、$PATH、$Cluste、$APP來統計PV，UV，錯誤碼，響應時間等 進程模型： Spout： 讀取日誌，解析日誌，根據配置的規則對日誌過濾和分類，同時對記錄打上分鐘爲單位的標籤$T
2020-02-21 17:01:39
原创 解決系統丟包問題
當系統經常出現丟包問題時（ifconfig可以看到），修改rx_ring可以解決這個問題。 sudo /sbin/ethtool -g eth0 | /bin/grep "RX:" | /bin/sed "1q"|/bin/cut -
2020-02-21 17:01:39
原创 nginx access_log buffer大小設置
access_log 的buffer設置多大，看官網說是不能超過原子寫入磁盤的大小。這個值在Linux裏邊是沒有變量或者環境變量來設置的。 The access_log directive sets the path, format a
2020-02-21 17:01:39
原创 502錯誤
測試環境運行很OK，但是放到線上就偶爾出現502錯誤。 分析： Nginx 502 Bad Gateway的含義是請求的CGI已經執行，但是由於某種原因沒有執行完畢而導致CGI進程終止。 Nginx 504 Gateway Time-o
2020-02-21 17:01:39
原创 HZ的概念
HZ跟CPU頻率沒關係，HZ，The frequency of the system timer (the tick rate) is programmed on system boot based on a static preproc
2020-02-21 17:01:39
2
原创 hypertable架構與使用實踐
uIMG的存儲使用的是hypertable， 一個CPP版本的bigtable方案，它提供大數據存儲，也提供了緩存，相對KV系統，它的功能和可管理性更強。 調用棧 Hypertable處於大數據生態系統調用棧的中間，在DFS的之上，它
2020-02-21 17:01:39
原创 sudo一個小時內生效
vi /etc/sudoers huanglq ALL=(ALL) ALL hadoop ALL=(ALL) ALL # sudu不用輸入密碼 huanglq ALL=(ALL) NOPASSW
2020-02-21 17:01:39
原创 解決TIME和CPU USAGE 9999問題
症狀： 圖片雲的slaver系統運行一段時間，突然應用的CPU USAGE上到9999，load飆上去，接着網絡中斷。重啓後不開任何應用，init等的TIME已經是6位數的h了。啓動應用馬上像之前的情況了。 解決： 過程1： 這個是l
2020-02-21 17:01:39
原创 圖片壓縮算法
有損算法： JPEG，我們最爲常用的算法。他是通過離散餘弦變換，對圖片質量儘量小的時候進行有損壓縮，改算法對高中波特率下效果很好，但是對低波特率下，就會出現方格之類的，比如100多MB的MPEG電影，會發現稍微一暗就很多格子。爲了解決這
2020-02-21 17:01:39
1
原创 mysql備機倒換配置
mysqldump, 加選項 --master-data=2 -F 來讓主庫新開啓一個日誌，這樣就從那個新日誌的0位置開始讀了 將dump數據導入從庫，啓用slave的時候，change master to 語句需要指定主庫上備份開始的那
2020-02-21 17:01:39
原创 rrdtool縮寫翻譯
RRD——round robin database DS——data source DST——data source type RRA——round robin archive CF——consolidation function（合併/
2020-02-21 17:01:38
原创 SDN介紹
SDN，(Software-defined networking)，軟件定義網絡。 計算機的發展，可以說日新月異，層出不窮，一日千里，以各個不同的姿勢滲透到生活的每個角落。大到天體計算，dna破解，手工雲計算，挖礦，小到手機，電子書。
2020-02-21 17:01:38
1
原创 非root的crontab調用失敗
感覺守護一直沒作用，開始以爲是守護腳本有問題。重試多次覺得很OK。實在不行找了root用戶，看日誌。 Feb 11 18:19:01 crond[27831]: (CRON) ERROR (setreuid failed): Resou
2020-02-21 17:01:38