原创 Transformer簡要介紹

本篇整理 Transformer 架構,及在 Transformer 基礎上衍生出來的 BERT 模型,最後給出 相應的應用案例。 1.Transformer的架構 Transformer 網絡架構架構由 Ashish Vas

原创 GNN圖神經網絡詳述-01

最近的有GNN學習需要,但這部分的資料整理還不算太多。本篇主要是作爲知識梳理,主要參考綜述性論文:Graph Neural Networks: A Review of Methods and Applications,在此基礎上結

原创 ROS基礎學習筆記1

ROS開發基礎部分: 基本文件介紹 1.CMakeLists.txt 規定了catkin編譯的規則 例如:源文件,依賴項,目標文件,會總動生成命令模板 2.Package.xml 定義了包的屬性 生成包括:包名,版本號,作者,依賴

原创 PyTorch遷移學習入門——VGG16 圖像分類

前言 遷移學習指的是保存已有問題的解決模型,並將其利用在其他不同但相關問題上。 比如說,訓練用來辨識汽車的模型也可以被用來提升識別卡車的能力。很多情況下遷移學習能夠簡化或降低模型構建的難度,甚至還能取得不錯的準確度。 本文將針對一

原创 機器學習代價函數,損失函數理解

機器學習常見的代價函數 代價函數也被稱爲平方誤差函數,有時也被稱爲平方誤差代價函數,之所以要出誤差的平方和,是因爲誤差平方代價函數對於大多數問題,特別是迴歸問題,都是一個合理的選擇。 (1)二次代價函數(quadratic cos

原创 HMM、MEMM、CRF模型的比較

一、HMM HMM屬於生成模型,模型中2個假設: 輸出觀測值XiX_iXi​之間相互獨立; 齊次一階Markov,即狀態的轉移過程中當前狀態只與前一狀態有關。 二、MEMM P(I∣O)=∏t=1nexp⁡(∑a)λafa

原创 結合代碼理解Pointnet++網絡結構

前言 Pointnet提取的全局特徵能夠很好地完成分類任務,由於網絡將所有的點最大池化爲了一個全局特徵,因此局部點與點之間的聯繫並沒有被網絡學習到,導致網絡的輸出缺乏點雲的局部結構特徵,因此PointNet對於場景的分割效果十分一

原创 調用百度Ai飛槳平臺人流量估計API【親測可用】

最近搞了下高密度人羣數量估計,參考了很多資料,首先是想自己動手搭建一個CSRnet進行訓練,這個網絡的代碼實現可以參照 論文和代碼如下,有興趣的可以動手自己做: CVPR 2018 Paper : https://arxiv.

原创 目標檢測 3—— 人臉檢測

筆記來源:DeepLearning-500-questions 上次學習了目標檢測的基本概念 Two Stage和 One Stage 算法: 1.目標檢測Two Stage 2.目標檢測One Stage 4 人臉檢測 在目標檢

原创 Python如何高效使用位運算符

Python位運算符 按位運算符是把數字看作二進制來進行計算的,使用正確將會大大優化程序,如進制轉化。Python中的按位運算法則如下: 變量 a 爲 60,b 爲 13,二進制格式如下: a = 0011 1100; b =

原创 目標檢測 1——基本概念和Two Stage網絡模型

筆記來源:DeepLearning-500-questions 1.基本概念 1.1 什麼是目標檢測? ​ 目標檢測(Object Detection)的任務是找出圖像中所有感興趣的目標(物體),確定它們的類別和位置,是計算機視覺

原创 關於機器學習特徵選擇的方法總結

機器學習特徵選擇的方法總結 1.特徵選擇的重要性 隨着深度學習的發展, 大大縮減了特徵提取和設計的任務。 不過, 特徵工程依然是各種機器學習應用領域的重要組成部分。其中對於特徵選擇(排序)的研究對於數據科學家、機器學習從業者來說非

原创 CNN中parameters和FLOPs計算

CNN中parameters和FLOPs計算 以AlexNet爲例,先注意觀察每層編注的通道數的變化。 1. 卷積網絡的參數量的計算(parameters) CNN中的parameters分爲兩種:W和b,注意這裏W是大寫,表示一

原创 目標檢測 2—— One Stage目標檢測算法

筆記來源:DeepLearning-500-questions 上次學習了目標檢測的基本概念和一些經典的Two Stage算法:1.目標檢測Two Stage 3. One Stage目標檢測算法 我們將對單次目標檢測器(包括SS

原创 BERT簡要介紹

BERT(Bidirectional Encoder Representation from Transformers) 網絡架構由 Jacob Devlin 等人提出用於預訓練,學習在給定上下文下給出詞的 Embedding