原创 Node/Pod/Cluster IP的異同
文章目錄Node IPPod IPCluster IPReference Node IP Node IP 是集羣每個節點的物理網卡的 IP 地址。 Pod IP Pod IP 是 IP 地址，是 Docker Engine 根據
2020-04-14 16:41:41
原创 tf_cnn_benchmark 顯存問題
文章目錄1 Overview2 Reason3 Summary 1 Overview 在測試 vGPU 的功能的時候，給容器分配了半張 GPU 卡，然後想用 Tensorflow Benchmark 測試一下，卻發現半張 V100
2020-04-14 16:41:41
原创 Go mod 常見問題（持續更新）
module declares its path as 這需要用到 go mod 的 replace 來調整，具體就是往 go.mod 插入一條記錄。 replace github.com/coreos/bbolt v1.3.
2020-04-14 16:41:41
原创 Tensorflow 測試一段能運行在 GPU 的代碼
文章目錄1 Overview2 Example3 Summary 1 Overview 官方文檔「又長又臭」，我只是想在 Kubernetes 集羣裏，運行一個能跑在 GPU 顯卡的程序而已，文檔太多，看的眼花繚亂，本文就講一個簡
2020-04-14 16:41:31
原创 Tensorflow on HDFS 的實踐
文章目錄1 Overview2 Practice3 Summary 官方文檔很重要~ 1 Overview 本文主要參考 Tensorflow on Hadoop，在 TenC 彈性計算平臺做一個 Tensorflow 讀取
2020-04-14 16:41:31
原创 MPI on Kubernetes
MPI(Message Passing Interface) 是一種可以支持點對點和廣播的通信協議，具體實現的庫有很多，使用比較流行的包括 Open Mpi, Intel MPI 等等，關於這些 MPI 庫的介紹和使用，本文就不多
2020-04-14 16:41:31
32
原创 工程師和文檔
我一直都覺得，文檔和代碼都寫的非常棒的工程師，都值得大家好好珍惜。 其實代碼跟文字表達能力，個人認爲是相同的。可惜的是，很多工程師都能寫出非常工整和優雅的代碼，卻不願意花一點點時間在寫文檔這個事情上，當然也包括代碼上的註釋。 其實
2020-03-27 20:00:05
原创 Spark 2.2 on K8S 和 Kubernetes v1.14
文章目錄 就像之前寫過很多關於 Spark on K8S 的文章，Spark 2.2 是 Fork 出來的版本，雖然經受住了我們部門超大規模的 Spark 計算業務的考驗，但是由於 Spark 社區很快就在 2.3 跟進了 on
2020-03-27 20:00:05
原创 Kubernetes 環境的 Tensorflow Serving on S3
文章目錄1 Overview2 Practice2.1 Serving 鏡像2.2 模型文件和 s3cmd 環境2.3 部署2.5 更新模型3 測試4 Summary5 Reference TensorFlow Serving
2020-03-04 16:43:38
原创 Spark Opeartor的指標體系
文章目錄1 Overview2 Metrics2.1 Spark Metrics2.2 Workqueue Metrics2.3 指標初始化2.4 其他2.5 工作時的指標3 Summary 1 Overview spark-on
2020-02-22 09:37:06
原创 Go語言整數值轉字符串的效率問題
文章目錄 參考 Go in Action 標準庫提供了三種方法可以將整數值轉爲字符串。 fmt.Sprintf strconv.FormatInt strconv.Itoa 運行下面的代碼，可以得到三種方法的基礎測試結果。
2020-02-21 04:30:07
原创 Kubernetes v1.13 對 GPU 的支持
Kubernetes 是從 v1.6 開始實驗性地支持 Nvidia GPU 的資源調度的。而在 v1.9 開始對 AMD GPU 也開始支持了。現在 v1.13 對 GPU 的支持模式，是從 v1.8 開始通過 Device P
2020-02-21 04:30:07
原创 Amdahl定律
文章目錄OverviewIntroductionReference Overview Amdahl 定律(Amdahl’s law)是並行計算領略一個非常著名的定律。由 Gene Amdahl 於1967年提出。Amdahl 定律
2020-02-21 04:30:07
原创 Go語言函數間傳遞切片的問題
GoInAction Go 語言函數間傳遞切片，也是在函數間以值傳遞的方式進行的，由於切片的大小比較小，在函數間複製和傳遞的成本是比較低的。 // 分配包含100w個整型值的切片 slice := make([]int, 1e
2020-02-21 04:30:07