原创 mail技術相關
做了個發送mail的小程序。根據uid list獲取email address list，然後發mail，指定subject，mail body是HTML的。 用到的技術： PHP mail函數，Linux mail程序，兩者都和sen
2020-06-16 01:45:39
原创 multi-process & cpu with multi-cores
多進程任務，由於CPU core數的增加，會大大的增加其對於cache、總線等共享資源的爭奪，從而造成machines with CPUs consisting of multiple cores的表現不如預期。 比如類似PHP-FPM這
2020-06-16 01:45:39
原创 Parameter server anatomy (1)
anatomy的目的，是爲了把Parameter server從一個framework，改造爲一個platform。 獨立的PS server集羣，包括PS scheduler（需要增加scheduler HA的實現，並且schedule
2018-08-28 06:17:22
原创 關於機房交換機故障導致HDFS NameNode掛掉的問題（續）
過程是痛苦的，後面的結論是令人不安的。 上一篇的分析，確定了至少兩個個結論： 一、如果總體上active NN寫JNs出問題，那麼active NN就主動調用terminate，進程退出； 二、JNs的相
2018-08-28 06:17:22
1
原创 關於機房交換機故障導致HDFS NameNode掛掉的問題
HDFS HA中，一個active NN，一個standby NN，三個JNs，共涉及三臺機器146.66/67/68。其中66上有一個JN，67上一個JN和一個active NN，68上一個JN和一個s
2018-08-28 06:17:22
5
原创 HDFS too many open files，fd limit的問題（二）
問題本身是明確的：由於操作HDFS的進程，打開了過多的本地文件，導致fd limit達到上限，進而其他需要打開文件（廣義的文件的概念）的進程報錯。 需要注意的是，這個錯誤影響到了多個進程，並且這些進程間好
2018-08-28 06:17:22
1
原创 HDFS HA中name nodes訪問順序的問題
配置HDFS HA時，需要指明兩個name nodes，一個active，一個作爲hot standby，當active NN出現問題時，可以及時手動或自動切換到standby NN（此時原來的stand
2018-08-28 06:17:22
3
原创 從EMFILE和ENFILE說起，fd limit的問題（一）
下面的描述，統一用“fd”來表示通常所說的“文件句柄”。UNIX/Linux系，稱爲“文件描述符（file descriptor）”，也因此纔有“fd”這個縮寫。“文件句柄”，貌似是Windows系的說法
2018-08-28 06:17:22
原创 HTTP server + PHP-FPM掛掉雛析
C/S model & process model：Web server (nginx or lighttpd) as clients <--> PHP-FPM as server, forking pm.max_children PHP
2018-08-28 06:17:22
原创 some thinking about management
我可以批評、指責我的組員，直接指出其做的不好不對的地方，但我不會輕易允許組外的人這麼說，如果組外的人這麼說，我也不會輕易不了了之。 如果我還想繼續用他，繼續給他機會，我會直接指出其做的不好不對的地方。如果不我想用他了，我會禮貌地客氣地說話
2018-08-28 06:17:22
原创 LogAggregator
http://mp.weixin.qq.com/s?__biz=MzIzMzEzODYwOA==&mid=2665284319&idx=1&sn=dd380fdb78846e7ce3e798918e0ab
2018-08-28 06:17:22
原创 localtime/localtime_r lock issue
看了localtime/localtim_r的代碼，裏面確實有lock的操作，但有新發現。 在glibc的代碼目錄，time/localtime.c中，是localtime/localtime_r的實現：
2018-08-28 06:17:13
原创 trivial C++ issues (1)
What happens in such traversal by iterators? #include <string> #include <map> #include <iostream> int main() { st
2018-08-28 06:17:13
原创 Linux thundering herd
驚羣的定義（http://en.wikipedia.org/wiki/Thundering_herd_problem）：The thundering herd problem occurs when a large number of p
2018-08-28 06:17:12
原创 一個nginx配置小問題
【結論】目前的配置，可以完成基本的功能，但使nginx要處理的請求的數量，增加了一倍（下面詳述），所以，要儘可能避免像目前這樣配置，可以有更合適的配置。【要實現的功能】使客戶端發起的類似http://cq01-testing-ibase1
2018-08-28 06:17:12