原创 計算機視覺+深度學習相關測試結果與分析(0308更新)

以下測試均爲作者本人在自己的設備上進行的測試,可能與實際有出入,僅供參考。 如果對某些測試感興趣或有疑問,歡迎留言討論~ 2020-02-01 測試項目:視頻中的目標檢測 測試視頻:https://www.youtube.co

原创 0402自學web後端之——MongoDB安裝、基本概念與基本操作

安裝 docker方式 >>> docker pull mongo:latest >>> docker run -itd --name mongo --restart always -p 27017:27017 mongo -

原创 pandas添加自增列的兩種方式

有時候我們需要添加一列自動增加數字的列,可以用下面兩種方法: 第一種 >>> import pandas as pd >>> df = pd.DataFrame([{'name':'apple', 'count':4},\

原创 使用pandas split、explode實現按字符分割列並轉爲多行

假設有這麼一組數據: >>> df = pd.DataFrame([{'編碼':'01', '價格':'1.1,1.3,3.4', '水果':'蘋果,柿子,梨'},{'編碼':'01', '價格':'2.2,3.4', '水果':

原创 基於Ubuntu 18.04.3操作系統的Intel OpenVINO環境搭建

OpenVINO toolkit分爲開源版與Intel版,其中Intel版是Intel發佈的專注於推理的深度學習框架,其特點是可將TensorFlow、caffe、ONNX模型轉換爲Intel系硬件兼容的模型,包括Movidius

原创 Portainer 1.24.0安裝及使用

背景:隨着工作的不斷推進,部署的機器越來越多,逐漸形成多服務器的集羣系統,而對這些服務器的容器運維管理目前都是通過命令行方式登錄到該主機進行,對管理人員要求較高。 Portainer是一個開源的跨平臺docker可視化管理平臺,採

原创 Harbor 2.0.0安裝及使用

背景:隨着工作的不斷推進,鏡像越來越多,部署的機器越來越多,每次部署都需要build一次鏡像非常耗時,尤其是在樹莓派上build帶有pip3 install pandas的鏡像,往往耗時一個小時(雖然apt install pyt

原创 使用pandas.DataFrame.to_sql時報錯Operand should contain 1 column(s)

在使用to_sql寫入數據庫時,出現報錯 sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1241, 'Operand should contain 1 col

原创 獲取MySQL所有表的表註釋

SELECT TABLE_NAME, TABLE_COMMENT FROM information_schema.`TABLES` WHERE TABLE_NAME LIKE 'jdy_%' ORDER BY TABLE_NAME

原创 python將包含子列表的列表展開

有一個列表 >>> [[1,2,3],[4,5,6]] 我們希望將子列表展開 >>> [1,2,3,4,5,6] 方法: >>> [item for sublist in _list for item in sublist]

原创 impala相關命令

環境: kudu:1.7.0 CDH:5.16.2 2020-06-02 查看字段統計信息 # 查看字段統計信息 >>> SHOW COLUMN STATS web_rpa_count; 參考:https://docs

原创 python sqlalchemy中執行mysql操作需轉義百分號

如果構建的sql中包含百分號,如: INSERT INTO child (pk, data_id, material_type) VALUES ('5e995e464bec3a00067402f4_0', '5e995e464be

原创 基於樹莓派的kudu數據庫數據中轉服務

這兩天成功實現了使用樹莓派作爲kudu數據庫的數據中轉服務 一條經驗之談:不要在樹莓派上使用DataFrame.to_sql()!!直接用SQLAlchemy創建engine再connect再execute sql語句就一切正常!

原创 with engine.begin()和 with engine.connect()使用心得

以下內容完全是一個數據庫小白的經驗之談,可能不太準確,見諒! 最近兩天試圖在樹莓派上部署一個web應用,具體目標就是將接收到的數據轉存到數據庫中,一個是本地的kudu數據庫,另一個是mysql數據庫 # 如kudu庫 impala

原创 python執行非查詢類sql時最好使用conn.execute

在使用read_sql_query時可能會報錯: >>> from sqlalchemy import create_engine >>> import pandas as pd >>> engine = create_engin