原创 centos7 mongodb 4.2 複製集+開啓auth
機器規劃： 192.168.1.23 主節點 192.168.1.24 從節點 192.168.1.25 仲裁節點, 不存儲數據 下載安裝 首先下載安裝包：https://repo.mongodb.org/yum/redhat/
2020-06-23 08:22:50
原创 ML訓練推理的大規模數據吞吐解決思路
一個通用的算法流程是這樣的（不區分訓練與推理，有些場景訓練與推理沒有很明確的界限）： 準備輸入文件->算法（讀數據、處理、輸出）->處理輸出文件 這樣的在啓動的時候，需要大量的數據，通常是幾十GB到TB級別的數據，一般是以靜態文件
2020-06-21 16:47:21
原创 golang tcp握手/揮手實驗、CLOSE_WAIT優化
書本上常說的三次握手，四次揮手 下圖是其它博文摘錄的 golang 的tcp編程是比較簡單的，但是如果抓包，會發現很多情況下，尤其是顯式的複雜網絡環境，很難復現四次揮手 實驗一 復現三次握手四次揮手 tcp server pa
2020-06-21 15:55:53
7
原创 ML調度服務-argo源碼入門
用從關注到使用argo已經快一年時間了，對於小型的算法工作流，argo用起來還是非常簡單高效的。這篇文章主要介紹argo以及粗略瀏覽一下背後的代碼(因爲argo的manifest如果要寫得好，就得看背後的數據結構)，如果你只是在尋
2020-06-21 15:55:53
2
原创 推薦系統：ann算法之ngt
在推薦或者搜索場景中，高質量的召回都是很有必要的，有時候ann搜索算法（Approximate Nearest Neighbor）可以幫助我們實現這一個功能 ngt是yahoo日本團隊基於graph和tree做的的ann搜索工具，
2020-06-21 15:55:53
1
原创 搭建生產級別的k8s集羣，需要注意哪些？
筆者2019下半年需要一個有namespace管理員權限的k8s集羣，雖然公司已經有幾個大的k8s集羣，但是管理方式另外一個部門，相關負責人不肯給namespace內的管理員權限，不肯給的話，要麼自建，要麼找公有云託管。 問題1，
2020-06-21 15:55:53
原创 golang二叉樹翻轉（遞歸與非遞歸實現）
二叉樹翻轉 樹的初始化可以粗暴一些。 如果要看一棵比較簡單的樹的結構，可以用json包序列化打印出來看 非遞歸實現 package main import ( "encoding/json" "fmt" "github.
2020-06-21 15:55:53
原创 paddle ctr利器DeepFM
目錄爲什麼用paddle做ctr預估熟悉數據評價指標AUC組網fm部分dnn部分目標函數訓練訓練環境 先貼重要的鏈接 DeepFM的論文參考 https://arxiv.org/pdf/1703.04247.pdf 代碼倉： ht
2020-06-21 15:55:53
原创 golang etcd選主實驗
目錄選主的應用場景模擬master進程正常退出，看另外一個節點是否能夠成功選主模擬master進程被強kill，看另外一個節點是否成功選主 選主的應用場景 分佈式部署應用的時候，有時候希望由一個master角色去處理一些特殊的業務
2020-06-21 15:55:53
原创 golang 子數組最大乘積
leetcode題目152 輸入 [2,3,-2,4] 返回 6 輸入 [-2,0,-1] 返回 0 題目分析: 動態規劃中等難度的題目，最大乘積具有後無效性 由於乘法具有負負得正的特性，所以需要記錄當前最大與當前最小值，這樣
2020-06-21 15:55:53
原创 linux flamegraph火焰圖使用
perf可以忽略語言或者一些開發框架，從os的角度看到進程的cpu時間都耗費在哪些調用棧上。 perf與火焰圖搭配使用，提供一個比較友好的交互方式，來觀察調用棧的耗時 驗證環境是ubuntu環境 安裝 安裝perf $ sudo
2020-06-21 15:55:53
原创 istio 1.5使用kubectl創建資源，istio-token not found
目錄問題解決辦法 問題 由於內網環境隔離的問題，需要改動部分部署參數。所以使用istioctl生成了manifest文件，但是部署異常，describe pod之後，發現有一些資源例如istio-token not found，去
2020-06-21 15:55:52
原创 golang gc優化
目錄gc 原理對象分配在堆還是棧？怎麼評價gc結果好壞？有用的技巧？有效的監控與告警控制應用的總體堆內存大小合理使用指針以及逃逸分析優化string與[]byte相互轉換大量的string拼接，可以考慮用 bytes.Buffer
2020-06-21 15:55:52
原创 MKL blas golang 對比 gonum
這裏對比的對象主要是gonum的gonum.org/v1/gonum/floats包，這個包做科學運算還是比較快的，裏面直接調彙編代碼，比go寫的原生計算代碼要高效一些。 首先，需要安裝mkl，下載地址 然後安裝gosl 這個包
2020-06-10 13:09:25
3
原创 推薦算法： 百度mobius
論文地址：http://research.baidu.com/Public/uploads/5d12eca098d40.pdf 廣告不同階段優化目標不一致 普通用戶看到的三個階段，曝光-點擊-轉化 背後是一套複雜的召回排序系統
2020-06-07 15:40:39
1