原创 python實現一個簡單的thirft客戶端和服務端
創建thrift文件 service Hello { string get() } 使用thrift 創建服務需要的組件 thrift --gen py hello.thrift 得到一個gen-py文件，請將該文件放到新建的
2018-09-12 10:30:00
4
原创 c++指針與集合類介紹使用
前沿 c++是一個重要的工具，涉及到性能問題的都會使用到c++，遺憾的是自己對c++相關的東西不太瞭解，希望藉助這波學習能弄通它。 c++指針 首先弄懂兩個符號的意思，&、*。 & 每一個變量都有一個內存位置，每一個內存位置都定
2018-09-12 10:30:00
原创 NSQ消息發送機制
NSQ是Go語言編寫的，開源的分佈式消息隊列中間件，其設計的目的是用來大規模地處理每天數以十億計級別的消息。NSQ 具有分佈式和去中心化拓撲結構，該結構具有無單點故障、故障容錯、高可用性以及能夠保證消息的可靠傳遞的特徵，是一個成熟的、已
2018-09-09 21:50:25
原创 Hive SQL調優的一些小建議
hive SQL調優 1.儘量儘早地過濾數據，減少每個階段的數據量,對於分區表要加分區，同時只選擇需要使用到的字段 2.儘量原子化操作，儘量避免一個SQL包含複雜邏輯, 可以使用中間表來完成複雜的邏輯 3.小表要注意放在join的左邊（目
2018-08-27 07:09:34
原创 生活小結
在時間支配上稍微可控的時候，希望自己能在各個方面都有所成長，因此制定了一些計劃。到目前爲之，已經過了兩個月了，目前的成長值也是可以看到的。最大的感受是，每遇見一個熟人的時候就會受到不一樣的眼光看待，當然是好的那種啦。想分享一下這段期間的
2018-08-21 23:45:00
原创 python的發展與相關內容
慢慢的python開始用的多了起來，以前覺得只是偶爾作爲一個工具在用，不過慢慢的發現，似乎有些離不開python了（笑cry）。 在不斷使用過程中，一些問題越越來越清晰的詢問着自己的內心，python的發展是怎樣的歷史
2018-08-21 23:44:59
原创 這是隻鳥... 這是個飛機... 這... 取決於你的分類器閾值
信息檢索系統（例如搜索引擎）的評估主要關注於兩件事情： 1.獲取到的數據的相關程度？（準確率） 2系統是不是到底獲取到了多少真實的相關文檔（召回率） 對於不熟悉的朋友，我將會解釋到底什麼是準確率和召回率；對於已經很熟悉的朋友，在
2018-08-21 23:44:58
2
原创 深度學習部分概念解析 - 1
1.優化方法介紹 這裏說的優化問題指的是，給定目標函數f(x)，我們需要找到一組參數x，使得f(x)的值最小。 SGD SGD是stochastic gradient descent的簡稱，即隨機梯度下降。此外還有BGD，B指的是
2018-08-21 23:44:58
1
原创 geo_teaser代碼閱讀
geo_teaser是論文Geo-Teaser: Geo-Temporal Sequential Embedding Rank for Point-of-interest Recommendation中的代碼。該論文研究的是基於時空序列
2018-08-21 23:44:58
原创 python中的multiprocessing真的是多進程運行？
問題 近日來在着手python的多進程訓練數據的時候，出現了一個問題。在1臺有着8核64G內存的機器，開啓8個進程，結果是各進程各佔用一個CPU且每個CPU的佔用量都可達到100%。而爲了加快速度，在一臺15核24G內存的機器，開啓10
2018-08-21 23:44:58
原创 以文件行數的統計方法來看看linux的shell腳本使用方法
方法一 awk，awk是一個非常好用的數據處理工具。相較於sed常常一整行處理，awk則比較傾向於一行當中分成數個“字段”處理，awk處理方式如下： awk '條件類型1{動作1} 條件類型2{動作2} ...' filename 0代
2018-08-21 23:44:58
原创 slim的batch_norm出現的問題
python代碼有一個好處，就是容易編寫。但它的壞處也是大大的，好難讀啊！！！ 以下代碼來自FastMaskRCNN（https://github.com/CharlesShang/FastMaskRCNN），在實際運行過程中，把is_t
2018-08-21 23:44:58
原创 hadoop中的RPC應用示例
hadoop中的RPC意義 前面有講到RPC的基礎內容，還給出了一個小的示例來說明，這篇文章講講hadoop中的RPC是怎樣使用的。 RPC在Hadoop中是基礎組件，提供分佈式環境下的對象調用功能。可以把
2018-08-21 23:44:58
原创 Python標準庫11 多進程探索 (multiprocessing包)
在初步瞭解Python多進程之後，我們可以繼續探索multiprocessing包中更加高級的工具。這些工具可以讓我們更加便利地實現多進程。 進程池 進程池 (Process Pool)可以創建多個進程。這些進程就像是隨時待命的士兵，
2018-08-21 23:44:58
原创 c++調用matlab函數 - dll方式
項目中遇到一個問題，需要用c++調用matlab程序，這裏記錄下整個過程。 準備環境 matlab 2014a visual studio 2010 PS：版本問題要注意，之前是visual studio 2017，這個就一直報錯（笑
2018-08-21 23:44:58