原创 yum install空間不足
本地要編一個 ceph-exporter，需要 ceph 的相關庫，於是在開發機上 yum install librados2-devel，報錯了，因爲第一次遇到所以記錄一下解決的思路。具體報錯的信息如下。 ➜ / yum in
2020-06-29 05:46:39
9
原创 prometheus-nginxlog-exporter構建Nginx日誌監控
lunimous 可以開啓 dashborad rgw 通過 prometheus-nginxlog-exporter 可以解析 Nginx 日誌，還有一些正則可以去處理，然後通過 relabel 的配置，讓其在指標數據上打上標籤
2020-06-27 13:21:17
原创 s3cmd put文件的過程
通過 s3cmd 上傳文件的命令是 s3cmd put，s3cmd 可以上傳目錄或者文件，不過需要注意的是，如果直接上傳的是文件，在 s3cmd put 的過程中是比上傳文件夾省去很多步驟的，具體可以看下源碼裏的 cmd_obje
2020-06-27 13:21:17
5
原创 Ceph RGW配置Nginx代理出現S3Error: 403 (Forbidden)
因爲 RGW 的默認 web server 用的是 civetweb，又因爲 civetweb 的日誌比較簡單，沒法統計用戶通過 S3 讀寫數據的詳細的性能數據，所以就考慮在 RGW 前通過 Nginx 來做本地代理，然後解析 N
2020-06-25 20:39:58
原创 OmniDiskSweeper清理系統文件
公司發的電腦只有250G，經常因 JetBrains 全家桶裝多了磁盤都快爆了，更不要打開多個 IDE，內存不夠的時候還要刷到 swap，總之電腦經常崩潰，一查存儲空間發現系統經常性達到180G，應用30G裝完就沒多少剩下來了。
2020-06-24 05:59:36
3
原创 NVIDIA TensorRT Inference Server on Kubernetes
文章目錄1 Overview2 Prerequisite3 部署4 驗證5 Reference 1 Overview NVIDIA TensorRT Inference Server 是 NVIDIA 推出的，經過優化的，可以在
2020-06-20 14:41:20
9
原创 Gustafson 定律
文章目錄OverviewIntroductionSummaryReference Overview Gustafson 定律(Gustafson’s law)闡述了數據並行帶來的影響。Gustafson 定律是由 John L.
2020-06-20 14:41:20
31
原创 Spark on Kubernetes PodTemplate 的配置
文章目錄1 Overview2 PodTemplate3 Example4 Summary 1 Overview 本文主要講 Apache Spark 在 on Kubernetes 的 PodTemplate 的問題，以及也會講
2020-06-20 14:41:20
4
原创 Kubernetes Scheduler Extender淺析
https://kubernetes.io/docs/concepts/extend-kubernetes/extend-cluster/#scheduler-extensions Scheduler 組件可以視爲一種監視 w
2020-06-20 14:41:20
1
原创 【Kubernetes】通過ConfigMap修改容器的DNS
業務容器需要在 A 集羣解析 B 集羣的容器，已知 B 集羣的 Pod 如果重啓後，IP 會變化，所以在 B 集羣創建 StatefulSet，並且創建 Headless Service，A 容器通過訪問 B 集羣這些服務的 Se
2020-06-20 14:41:20
原创 【Tensorflow 2.x】檢驗MKL
Tensorflow 2.x 關於 MKL 驗證的方法移到了其他 Module 下，所以原來檢驗的方法換掉了。按照 Intel 官網的提示 Tensorflow 1.x 的檢驗語法是 python -c"import tensor
2020-06-20 14:41:20
原创 Centos Git 升級遇到的一些麻煩事
1 Overview 起因是這樣的，因爲需要用 go mod，但是開發機的 Git 版本過舊了，導致 go mod 在執行一些 git 命令的時候會有一些問題。 # git version git version 1.8.3.1
2020-06-20 14:41:20
原创 Go語言函數間傳遞數組的問題
大家都知道，Go 語言中，數組是分配連續內存的，也就是說，在函數中傳遞一個大數組，代價是很高的，例如： // 聲明瞭一個8 MB 的數組 // 8 * 10^8 = 8 * 100000000 Bit array := [1e6]
2020-06-20 14:41:20
原创 如何讀一本技術書籍
關於處於職業生涯初期或者是轉行的同學，也許有過跟我一樣的迷茫，作爲技術菜鳥，我們怎麼纔可以迅速成長？ 對我來說，努力的意義非常大，知識卻又是很公平的，所以沒什麼特別的方法，只有瘋狂學習，纔是最好的方法。 實習到工作的今天，我買了兩
2020-06-20 14:41:20
1
原创 【spark operator】remote error: tls: bad certificate
用 spark operator 的 Helm Charts 部署 spark operator，因爲 spark operator 支持通過 webhook 來給 Driver/Executor Pod 添加 initConta
2020-06-16 15:54:49
7