原创 Kafka consumer版本升級(0.8.2 to 1.1.1)
1、背景 consumer是讀取Kafka集羣中某些topic消息的應用程序。當前Kafka生態中，consumer可以由多種語言實現，這裏主要討論使用Java語言開發的consumer程序。除了consumer的定義之外，還要明
2020-06-16 02:06:45
原创 Python requests失敗重試機制
問題背景 最近在Python開發中遇到一個問題，某個API接口由於一些問題會存在偶爾返回503的錯誤，所以需要在請求中增加失敗重試機制。 解決辦法 在參考“詳解超時和重試”中的解決方法時，發現重試機制沒有生效！！在閱讀源碼後發
2020-06-16 02:06:44
1
原创 Linux 中 sudo和su的區別
Linux 中 sudo和su的區別 Linux小知識：sudo su和su的區別 1、內容不同： su命令：用來切換用戶，substitute英文含義“代替”的意思。 sudo命令：sudo爲superuser do 的簡寫，即
2020-06-16 02:06:44
原创 unicode和utf-8編碼區別，python中編碼的實現，Java中編碼的實現
1、Unicode和UTF-8 （1）Unicode是一種編碼方式，把世界上所有的語言都實現了編碼，如果直接應用在計算機上會導致極大的空間浪費，而utf-8解決了此中問題，所以得到了廣泛的應用。 （2）utf-8是Unicode的一種實現
2020-06-16 02:06:44
原创 使用javax.mail發送郵件，並在郵件中嵌入圖片
背景：工作中有一個場景需要在郵件中插入圖片，而又沒有郵件圖片服務器，所以需要考慮在郵件的內容中嵌入圖片。郵件的正文中有很多表格，所以使用html寫入正文。 實現方法以及遇到的問題： HTML5 的 canvas 元素使用Jav
2020-06-16 02:06:44
原创 Mac使用mysql
mac 安裝mysql brew install mysql，此中方式安裝的mysql不會在“系統偏好設置”中生成mysql圖標 或者在官網下載dmg包安裝 驗證mysql是否安裝成功：mysqladmin --version
2020-06-16 02:06:44
原创 hive Invalid path xxxx: No files matching path file: xxxx
背景：在本地執行代碼遠程連接hiveserver2，操作hive中的數據 問題1：從本地load文件到hive遇到一個問題，代碼中執行load語句報錯：Invalid path xxxx: No files matching pa
2020-06-16 02:06:44
原创 記錄一次jvm內存分析
背景 一個線上應用長期佔用10G左右的內存（服務器內存128G），該業務邏輯比較簡單，共啓用了10個線程處理上游數據，然後寫入kafka，加上10個kafka producer線程，主要工作的共20個線程，考慮到數據雖然比較大，但
2020-04-24 11:34:41
原创 python requests連接池
1、下面兩種方法是相同的，requests都會默認建立10個連接數上限制是10的連接池 import requests #方法1 s = requests.Session() s.get('https://www.baidu.com'
2020-04-06 00:37:36
原创 召回率、精確率與準確率
1、如何解釋召回率、精確綠與精確率 precision:指的是所得數值與真實值之間的精確程度，翻譯成“精確度”好一些。 accuracy:指的是是否與事實一致，個人認爲翻譯爲“正確性”或者“準確性”好一點。
2020-02-28 14:15:10
原创 中文分詞的介紹
一、分詞的概念 一般分詞是NLP的第一項核心技術。英文中每個句子都將詞用空格或標點符號分隔開來，而在中文中很難對詞的邊界進行界定，難以將詞劃分出來。在漢語中，雖然是以字爲最小單位，但是一篇文章的語義表達卻仍然是以詞來劃分的。因此
2020-02-26 00:46:15
4
原创 sql學習記錄
一，關鍵語法 GROUP BY的使用 若使用GROUP BY聚合了一個表中的某幾列，集合後其他列的值只會保留一條（可能是靠前的那一條），在使用GROUP BY的時候需要注意，所以後面如果要用到某些列作爲篩選條件，則這些列要都放在
2020-02-22 12:24:27
原创 prometheus學習記錄
1、prometheus簡介：https://prometheus.io/docs/introduction/overview/ 2、基於Prometheus的Pushgateway實戰：https://www.cnblogs.c
2020-02-22 12:24:27
原创 Pycharm 運行 flask項目報錯404
直接用python3命令可以正常啓動，但是在Pycharm中flask啓動後，請求報404，代碼沒有問題，參考這個鏈接解決：https://blog.csdn.net/JENREY/article/details/8669981
2020-02-22 12:24:27
原创 比特幣（BTC）是什麼
一、比特幣（BTC）是什麼？ 1、2008年11月1日，中本聰《白皮書》中提出了一種去中心化的電子記賬系統 2、記賬系統中每個人都會把自己的交易記錄廣播出去，大約4000條交易記錄會被打包成一個“區塊” 3、新的區塊不斷連接到之前的舊塊後
2020-02-22 12:24:27