原创 NLP文本分類入門學習及TextCnn實踐筆記——模型訓練(三)

這篇記模型訓練。 距離第一篇已過去一個月。從學習到正式啓動模型訓練,花了兩週。模型訓練召回率和準確率達到上線標準又花了兩三週。 訓練及測試樣本評估的精確率都是97%、98%,結果一到線上實驗,結果慘不忍睹,才明白模型訓練不是那麼簡單的事情

原创 NLP文本分類入門學習及TextCnn實踐筆記(二)

本篇主要介紹TextCnn針對中文的分本分類的代碼實現。下一篇計劃講模型訓練及線上文本分類。 代碼基於開源代碼 https://github.com/dennybritz/cnn-text-classification-tf   建議對N

原创 解決tensorflow+gunicorn+flask的flag異常 UnrecognizedFlagError: Unknown command line flag

背景:TextCnn模型用tensorflow+flask+gunicorn搭建模型預測併發API生產環境,模型調用拋異常。 報錯代碼: #模型代碼處: # Misc Parameters tf.flags.DEFINE_boolea

原创 pip install報錯 HTTPSConnectionPool(host='files.pythonhosted.org', port=443)連接超時

問題描述: 在pip install安裝代碼庫的時候,提示超時,報錯信息如下。 Could not install packages due to an EnvironmentError: HTTPSConnectionPool(host

原创 docker build失敗error creating overlay mount to /var/lib/docker/overlay2/XX/merged: invalid argument

背景: 服務混跑的情況,任何中間件或配置的變更,都要檢查是否影響了現有服務。 服務器上原來跑的docker服務。同事在上面裝mysql,導數據,各種安裝插件,不知道怎麼docker被卸載了。。。重裝之後build鏡像的時候提示:error

原创 Maven+SpringBoot+Java 搭建restful 接口API框架到docker部署及遇到的問題記錄

背景: 三年前用Spring MVC搭過api服務。最近組內的其它工程是用的SpringBoot,覺得比較好用,於是這次選用的是Maven+SpringBoot+Java,踩坑無數,努力改掉技術上不求甚解的毛病,整理如下。 maven理解

原创 小日誌大問題——Logger的錯誤使用導致的JAVA進程CPU佔用過高問題

問題背景: java工程和mysql混跑的一臺服務器。最近的mysql的使用運算量比較大,然後就出現了查詢運算卡死的情況。 最開始的排查方向放到了mysql上,結果始終找不到原因。 然後考慮是否是因爲資源佔用的問題,Top一看,java工

原创 Python 格林威治時間格式 Wed Jul 10 20:00:09 +0800 2019 轉換爲標準時間格式年月日時分秒%Y-%m-%d %H:%M:%S

需求: 將excel中批量的格林威治時間格式字符串 Wed Jul 10 20:00:09 +0800 2019 轉換爲好理解的標準時間格式 2019-07-10 20:00:09 知識點: strptime:將一定時間格式的字符

原创 PYTLP模型安裝及使用(linux+python3)

記一次曲折的使用經歷。。 1. 需要運行在python3下面,先升級服務器的python版本 找一個下載目錄 wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0a1.tar.

原创 JAVACPU佔用過高、內存泄漏問題排查——HttpClient佔用過多buffer

問題起因: java工程消費的內容延遲嚴重,發現負責消費的dispatcher 進程阻塞,且佔用的CPU%很高。 開始按照https://www.cnblogs.com/paul8339/p/7464206.html 文中提到的方法排查。

原创 maven工程報錯:could not autowire. No beans ofXXX

線上運行的代碼,本地工程中報錯:could not autowire. No beans ofXXX 最開始以爲是ide配置的問題,然後又懷疑pom引入依賴的問題(近了一點,歸根結底是在maven工程的組織上)。 實際上是因爲:工程pom

原创 git reset --hard後的本地代碼找回(commit和沒有commit但add了兩種情況)

        作爲一個git的小白,今天踩了個大坑(大哭),踩坑過程如下,想看解決辦法的直接跳過,看第二部分: 踩坑過程:         1. 程序調試通過,開開心心commit,中間提示有代碼檢查錯誤,三個選項commit、conc

原创 python小白日常問題解決記錄

1. 編碼問題 (這兩天unicode真是令我頭大) pymysql.connect時提示“UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 29:

原创 php hash_hmac sha1加密sign簽名的python對照實現

php開發的API,採用TAuth2的sign簽名認證,簽名語句爲:        urlencode(base64_encode(hex2bin(hash_hmac('sha1', $param, $tauth_token_secret

原创 全方位的質量保證(一)——創業初期或新團隊新項目的質量保證

        有幾個各自創業的前同事(巧的是來諮詢的都不是測試人員),發來消息諮詢質量把控的問題:“我們產品迭代了一年了,上線還總出問題,產品質量問題總不收斂,怎麼辦?”“我們的產品跟微博類似,上線之前該回歸什麼功能呢?”