原创 Mac OS與Linux的關係,以及如何在Mac OS設備上管理Python多版本

Mac OS、GNU linux OS、Unix OS,似乎有着相似的指令行和shell功能,但卻是完全不同的操作系統。 只不過,linux和Mac OS,都有類Unix的性質。 Unix OS Unix出現的最早,所以似乎扮演了大家

原创 PyTorch使用tensorboard(遠程服務器和本地計算機的聯動)

本文基於Ubuntu16.04系統,Python3.7 --------------------------------------------------------------------------------- 首先是配置PyTo

原创 在本地使用遠程服務器上的jupyter notebook服務(同時開啓多個notebook)

因爲服務器常常放置在遠程,且沒有顯示器支持,因此我們需要在本地計算機顯示和使用遠程服務器(linux服務器)上的jupyter notebook服務。 要實現此目的,需要進行三步操作: 1. 在服務器端啓動jupyter notebook

原创 Ubuntu16.04服務器上用conda安裝PyTorch、torchvision、cuda

首先感嘆,Firewall性能槓槓的! 再簡單談一談我對pip和conda這兩個指令(即兩個program,在系統的/bin directory中能找到對應的二進制可執行文件,且被添加在了系統的$PATH(路徑)中)的認識。 pip和co

原创 PyTorch使用tensorboard & Jupyter notebook(遠程服務器和本地計算機的聯動)

本文基於Ubuntu16.04系統,Python3.7 -------------------------------------------------------------------------------------------

原创 Linux入門級概念理解和tips

Linux General Info: Linux OS is actually a combination of the GNU project (providing all the quirks and features wrap

原创 Jupyter Notebook 入門級shortcuts 和 tips

Jupyter notebook is a sequential collection of cells. Cell can be in either Edit (green colored) & Command (blue colore

原创 續接上文,關於深度可分離卷積與傳統卷積的一點思考

關於深度可分離卷積(DSC)與傳統卷積間差別的一點點思考,望各位大佬指正。 DSC是將Conv對spatial(receptive-field-wise)和semantic(channel-wise)的同時學習給一分爲二了。 在分開的這兩

原创 Linux系統內基礎知識的個人感悟

初入江湖,在下菜鳥,還請大佬指點。這裏淺談自己對一些linux常見概念的入門級感悟。 ----------------------------------------------------------------- 感 謝 大 佬 賞

原创 關於卷積操作(Convolution)的理解(參數量和運算量計算),以及網絡輕量化(MobileNet Inspired Depthwise Separable Conv深度可分離卷積)

深度學習,尤其是深度卷積網絡的迅猛發展,使得其在存儲和算力奢侈的GPU(多GPU)上的部屬趨於成熟。然而,將基於深度CNN的方法有效移植到存儲和算力有限的移動設備端(手機、Pad、嵌入式設備等)面臨諸多挑戰。 核心挑戰就是如何降低CNN對

原创 在計算機視覺任務中摸索domain adaptation and transfer learning,新手入門淺談心得

文中我們用DA代之domain adaptation,TL代指transfer learning。本人初涉這個領域,若下文心得有誤,望各位看官老爺/娘娘海涵。read with caution :) 故事如何講起呢? 首先明確一個故事背景

原创 關於focal loss和分類任務中的hard negative(positive)mining

深度學習,數據是關鍵。 在訓練一個分類器的時候,對數據的要求是class balance,即不同標籤的樣本量都要充足且相仿。然而,這個要求在現實應用中往往很難得到保證。 下面我以基於檢測的單目標跟蹤舉例分析這個問題。 visual obj

原创 關於導數(derivative),偏導數(partial derivative),梯度(gradient)的概念辨析

在研究深度學,尤其時back-propagation算法時,對梯度和偏導的概念有很多涉及。個人數學功底渣渣,通過多處求證,在這裏簡單回顧梳理一下,以避免混淆模糊,便於不時查閱。 首先,導數僅定義在一元函數y = f(x)上,而偏導和梯度是

原创 關於神經網絡的訓練與優化的一些想法。Thoughts about optimization & training in Neural Networks--back propagation & SGD

一個神經網絡是一個遵循連接原則級聯構成的函數逼近器(function approximation)。這個function將輸入x轉化成輸出y。以image classification爲例,x是圖片,y是labels。 對於一個神經網絡的

原创 關於Stochastic Gradient Descent和機器學習的優化問題

給定一個問題以及相應的data ( 是一個sample pair(x,y)),若採用機器學習的手段來解決,那麼要分兩步走: 1. 模型選擇:即選定一族函數 F,這個大F可以是SVM,linear regression,boosting,或