原创 小白入門計算機視覺系列——ReID(一):什麼是ReID?如何做ReID?ReID數據集?ReID評測指標?

ReID(一):什麼是ReID?如何做ReID?ReID數據集?ReID評測指標?        小白入門系列是我和朋友準備一起做的一塊內容,分模塊分專題·,比如計算機視覺中的目標檢測,ReID,OCR,語義分割以及大火大熱的A

原创 Pandas如何進行內存優化和數據加速度取(附代碼詳解)

       Pandas 是常用的 Python 軟件庫,可用於數據操作和分析。在進行數據分析時,導入數據(例如pd.read_csv)幾乎是必需的,但對於大的CSV,可能會需要佔用大量的內存和讀取時間,這對於數據分析時如果需

原创 小白入門計算機視覺系列——ReID(三):進階:學習分塊局部特徵

ReID(三):進階:學習分塊局部特徵        小白入門系列是我和朋友準備一起做的一塊內容,分模塊分專題·,比如計算機視覺中的目標檢測,ReID,OCR,語義分割以及大火大熱的AutoML等等。        本次帶來的是

原创 Predict Future Sales(時間序列)——Kaggle銀牌(TOP 4%)基礎方案(一):賽題背景和數據字段分析

筆者將分享一次kaggle數據競賽的實例,包括了數據競賽的基本套路流程:賽題業務背景分析,數據探索(EDA),特徵工程,單模預測(特徵重要性分析)以及stacking模型融合。 本次賽題的鏈接:Predict Future Sales,賽

原创 Predict Future Sales(時間序列)——Kaggle銀牌(TOP 4%)基礎方案(二):EDA和數據預處理

  所謂的EDA,即爲數據探索,這裏主要指的是賽前的數據探索(第二種是對模型的分析,包括LightGBM/XgBoost的feature importance,LR,SVM的coeff等)。那木賽前數據的EDA要做那些呢,第一個是對數據集

原创 Predict Future Sales(時間序列)——Kaggle銀牌(TOP 4%)基礎方案(四):單模預測及模型融合

構造完特徵接下來就是模型預測部分了,至於這裏說的模型融合,實際上已經是各大數據競賽上分的約定俗成的套路。 單模一:CatBoost catboost是俄羅斯大佬發佈於2017年的一個強大的Boost算法,據發佈者所說是繼XGBoost和L

原创 Predict Future Sales(時間序列)——Kaggle銀牌(TOP 4%)基礎方案(三):特徵工程及線下驗證劃分

上篇說到了數據預處理和EDA,數據預處理是爲了提高數據的可用性,而EDA則可以挖掘數據的規律,便於構造特徵。在一個機器學習數據競賽任務中,有句話叫做“特徵決定任務能達到的高度,而模型和算法包括調參只是逼近這個高度”。特徵工程的重要性是不言

原创 小白入門計算機視覺系列——ReID(二):baseline構建:基於PyTorch的全局特徵提取網絡(Finetune ResNet50+tricks)

ReID(二):baseline構建:基於PyTorch的全局特徵提取網絡(Finetune ResNet50+tricks)        小白入門系列是我和朋友準備一起做的一塊內容,分模塊分專題·,比如計算機視覺中的目標檢測

原创 ipynb轉換爲html,md,pdf等格式

jupyter notebook是一個非常棒的工具,關於jupyter的入門教程請參考我之前寫的兩篇博客: Jupyter notebook入門教程(上) Jupyter notebook入門教程(下) 那麼用jupy

原创 爲什麼卷積神經網絡中的“卷積”不是卷積運算?

       這是我在看代碼的時候忽然發現到的一個問題,同時一查也是某TOP廠的一個面試問題,一個我以前從沒注意到的一個細節性問題。也就是說(以二維卷積爲例),CNN中的conv2d層執行的並不是數學上的卷積計算,而是數學上的互

原创 小白入門計算機視覺系列——ReID(四):再進階:細粒度多特徵融合

ReID(四):再進階:細粒度多特徵融合        小白入門系列是我和朋友準備一起做的一塊內容,分模塊分專題·,比如計算機視覺中的目標檢測,ReID,OCR,語義分割以及大火大熱的AutoML等等。        本次帶來的

原创 實時手寫數字識別

       PS:好久之前的博客了,再整理百度雲的時候翻到了之前的代碼,貼在這裏:代碼   手寫數字識別作爲模式識別領域的一個重要問題,也有着重要的理論價值,在大數據時代的背景下,其應用領域非常之廣。很多學者對手寫數字識別提出了不同的算

原创 SVM實現及Libsvm工具箱的安裝測試(基於Matlab R2014a環境)

最近在做一個基於支持向量機機器學習的項目, 打算用matlab構建分類器和迴歸model.在R2014a版本中,在stats工具箱自帶有三個SVM函數,svmclassify,svmsmoset,svmtrain.而臺灣的林智仁先生及其實

原创 DL知識拾貝(Pytorch)(三):DL元素之二:損失函數

文章目錄1. 迴歸任務中的損失函數1.1 MAE loss(L1)1.2 MSE loss(L2)1.3 選MSE還是MAE?1.4 Huber loss 和 Smooth L1 loss2. 分類任務中的損失函數2.1 交叉

原创 DL知識拾貝(Pytorch):關於Pytorch,你所要知道的

文章目錄1. 安裝2. 數據的操作2.1 創建Tensor2.2 Tensor運算2.3 改變 Tensor 形狀2.4 Tensor與其他類型的轉換2.5 Tensor的CPU,GPU切換        筆記的代碼全部是基於Py