目標檢測羣703346870昨天進行了激烈的討論。聊天記錄如下。個人的見解將在羣中公佈。
輕指談笑紅塵 2020/6/1 星期一 18:51:27
羣主，我有個問題不是很明白，最開始的rcnn是在原圖上選擇性搜索得到roi ，然後對每個roi進行卷積得到目標位置，可是這樣速度太慢。後來spp把roi映射到特徵圖上去，就避免了每一個roi都需要卷積，後來的兩階段目標檢測一直保持這一做法，我不明白的是，特徵圖上的每一個值都是由原圖所有像素點信息共同決定的，在特徵圖上進行roi感覺意義不大，yolo系列並沒有這一步驟感覺結果也不差，後來有的fpn層感覺最大的意義也就是使用nms平衡一樣正負樣本，我個人感覺不需要roi也可,從這個角度理解，感覺兩階段有點多餘，不知道你怎麼看？如果理解有誤，請多多指教
スクルージ 2020/6/1 星期一 19:03:12
輕指談笑紅塵 羣主，我有個問題不是很明白，最開始的rcnn是在原圖上選擇性搜索得到roi ，然後對每個roi進行卷積得到目標位置，可是這樣速度太慢。後來spp把roi映射到特徵圖上去，就避免了每一個roi都需要卷積，後來的兩階段目標檢測一直保持這一做法，我不明白的是，特徵圖上的每一個值都是由原圖所有像素點信息共同決定的，在特徵圖上進行roi感覺意義不大，yolo系列並沒有這一步驟感覺結果也不差，後來有的fpn層感覺最大的意義也就是使用nms平衡一樣正負樣本，我個人感覺不需要roi也可,從這個角度理解，感覺兩階段有點多餘，不知道你怎麼看？如果理解有誤，請多多指教
@輕指談笑紅塵 首先FPN這個我感覺和你不太一樣
スクルージ 2020/6/1 星期一 19:03:27
FPN我是覺得是爲了不同大小目標在同一場景都能被檢測
スクルージ 2020/6/1 星期一 19:03:43
比如說你RPN的錨框如果太大 目標小 IoU就會太小
スクルージ 2020/6/1 星期一 19:04:06
反過來RPN錨框小了目標大IoU也會變小
スクルージ 2020/6/1 星期一 19:04:23
FPN是爲了配合錨框去適應不同大小目標來整的
スクルージ 2020/6/1 星期一 19:05:04
第二代用ROI池化個人覺得就是加速 還有就是目標之間的相對位置信息
スクルージ 2020/6/1 星期一 19:05:14
不過我也是業餘的 拋磚引玉
スクルージ 2020/6/1 星期一 19:05:18
スクルージ 2020/6/1 星期一 19:06:20
[ 羣聊的聊天記錄 ]
輕指談笑紅塵 2020/6/1 星期一 19:06:47
我寫的時候筆誤
輕指談笑紅塵 2020/6/1 星期一 19:07:01
rpn，不是fpn
輕指談笑紅塵 2020/6/1 星期一 19:07:11
區域提議網絡
輕指談笑紅塵 2020/6/1 星期一 19:07:39
fpn當然是用來處理多尺度的，這點沒什麼問題
輕指談笑紅塵 2020/6/1 星期一 19:08:18
感覺rpn意義不大
スクルージ 2020/6/1 星期一 19:08:30
RPN的意義是代替SS
スクルージ 2020/6/1 星期一 19:08:33
你說的沒錯
スクルージ 2020/6/1 星期一 19:08:41
我最近復現也是一開始跳過RPN
スクルージ 2020/6/1 星期一 19:08:45
全程都用SS
スクルージ 2020/6/1 星期一 19:09:07
RPN個人認爲意義是可以針對同一類圖給出針對性的ROI
輕指談笑紅塵 2020/6/1 星期一 19:09:11
但是我覺得roi意義也不大
スクルージ 2020/6/1 星期一 19:09:16
SS畢竟是無監督的
スクルージ 2020/6/1 星期一 19:09:19
針對性不強
スクルージ 2020/6/1 星期一 19:09:40
而且我做過對比 SS差不多300個ROI有50個正樣本
スクルージ 2020/6/1 星期一 19:09:55
RPN經過訓練 正樣本的濃度會高很多
スクルージ 2020/6/1 星期一 19:10:16
而二段式前向預測是循環對ROI切出來的小圖做分類
輕指談笑紅塵 2020/6/1 星期一 19:10:26
對啊，所以我說rpn最大的意義可能就是平衡下正負樣本
スクルージ 2020/6/1 星期一 19:10:37
如果你能循環更少次數得到更多正樣本 那麼實際應用時速度會更快
輕指談笑紅塵 2020/6/1 星期一 19:10:45
但是rpn最初是用來提roi的
スクルージ 2020/6/1 星期一 19:10:59
我是把這個當作升級版SS
スクルージ 2020/6/1 星期一 19:11:04
輕指談笑紅塵 2020/6/1 星期一 19:11:11
感覺roi在特徵圖上沒啥意義呀
輕指談笑紅塵 2020/6/1 星期一 19:11:32
最初的rcnn roi在原圖上
スクルージ 2020/6/1 星期一 19:11:33
提原圖就要每個小圖走一遍特徵提取了
スクルージ 2020/6/1 星期一 19:11:35
是
スクルージ 2020/6/1 星期一 19:11:42
這樣肯定慢
輕指談笑紅塵 2020/6/1 星期一 19:11:55
還可以說是去除背景，但是這樣就比較有意義
輕指談笑紅塵 2020/6/1 星期一 19:12:02
roi 在特徵圖上
スクルージ 2020/6/1 星期一 19:12:03
是是是
スクルージ 2020/6/1 星期一 19:12:07
有這個好處
輕指談笑紅塵 2020/6/1 星期一 19:12:13
我知道快
スクルージ 2020/6/1 星期一 19:12:28
ROI池化是多個ROI一起訓練的
スクルージ 2020/6/1 星期一 19:12:40
這樣互相之間的關係也能學習到
輕指談笑紅塵 2020/6/1 星期一 19:13:46
但是我就是感覺特徵圖上的roi跟原圖沒什麼關係了
スクルージ 2020/6/1 星期一 19:14:27
？
輕指談笑紅塵 2020/6/1 星期一 19:14:28
roi可不可以理解爲認爲這個圖像中物體的信息都在這個區域內
スクルージ 2020/6/1 星期一 19:14:33
對
スクルージ 2020/6/1 星期一 19:14:41
特徵圖那塊就是原圖的那快
スクルージ 2020/6/1 星期一 19:14:43
塊
スクルージ 2020/6/1 星期一 19:14:49
卷積有不變性
スクルージ 2020/6/1 星期一 19:15:23
https://www.cnblogs.com/Terrypython/p/11147490.html
輕指談笑紅塵 2020/6/1 星期一 19:15:27
卷積具有稀疏交互性
スクルージ 2020/6/1 星期一 19:15:50
這就不太清楚了。。。我是最近纔開始的
輕指談笑紅塵 2020/6/1 星期一 19:15:56
特徵圖上那一塊信息仍然是整個圖共同決定
スクルージ 2020/6/1 星期一 19:16:01
？
スクルージ 2020/6/1 星期一 19:16:04
不是吧
スクルージ 2020/6/1 星期一 19:16:24
我記得MNIST範例的特徵圖看到的還是有對應輪廓
輕指談笑紅塵 2020/6/1 星期一 19:17:19
淺層的還好，深層的就不行了。3×3卷積核表明下一層的一個像素由上一層3個決定
輕指談笑紅塵 2020/6/1 星期一 19:17:30
像rcnn網絡這麼深
輕指談笑紅塵 2020/6/1 星期一 19:17:50
roi區域的信息照樣由整張圖決定
スクルージ 2020/6/1 星期一 19:17:57
是啊 ，所以用的ROI是歸一化的
スクルージ 2020/6/1 星期一 19:18:01
你原圖224*224
スクルージ 2020/6/1 星期一 19:18:05
卷積到2*2
スクルージ 2020/6/1 星期一 19:18:11
ROI是（112，112）
スクルージ 2020/6/1 星期一 19:18:17
對應（1，1）
スクルージ 2020/6/1 星期一 19:18:23
（0，0，112，112）
スクルージ 2020/6/1 星期一 19:18:31
對應到（0，0，1，1）
スクルージ 2020/6/1 星期一 19:19:00
你可以說最後特徵層左上角的像素對應原圖（0，0，112，112）區域的內容
輕指談笑紅塵 2020/6/1 星期一 19:19:35
感覺也只能這樣理解了
輕指談笑紅塵 2020/6/1 星期一 19:19:53
雖然在特徵圖上提取roi區域
輕指談笑紅塵 2020/6/1 星期一 19:20:05
並不能像原圖中那樣去掉背景
輕指談笑紅塵 2020/6/1 星期一 19:20:34
但是特徵圖上這個roi畢竟包含原圖那一部分所有信息
スクルージ 2020/6/1 星期一 19:20:39
我復現了ROI池化但是最後沒用上
輕指談笑紅塵 2020/6/1 星期一 19:20:41
且速度更快
スクルージ 2020/6/1 星期一 19:20:49
因爲不知道爲啥會影響收斂結果
スクルージ 2020/6/1 星期一 19:20:55
所以我這裏算是失敗了
スクルージ 2020/6/1 星期一 19:21:04
我也不清楚實際的ROI池化有啥好處
輕指談笑紅塵 2020/6/1 星期一 19:21:34
一階段實際就沒有這個步驟
スクルージ 2020/6/1 星期一 19:21:47
是啊
輕指談笑紅塵 2020/6/1 星期一 19:21:56
但是畢竟是何凱明提出的，感覺也很少有人分析這個問題
スクルージ 2020/6/1 星期一 19:22:00
這個在RCNN系列是第二代纔有的
fasterrcnn 2020/6/1 星期一 19:37:30
ROI不是歸一化proposal的嗎？
スクルージ 2020/6/1 星期一 19:37:43
？？？
スクルージ 2020/6/1 星期一 19:37:57
哦對了
スクルージ 2020/6/1 星期一 19:38:00
我的電腦不行
スクルージ 2020/6/1 星期一 19:38:05
跑不了ResNet
スクルージ 2020/6/1 星期一 19:38:13
一直都用VGG16作爲骨幹網絡
fasterrcnn 2020/6/1 星期一 19:38:18
RPN出來的proposal尺寸不一啊
スクルージ 2020/6/1 星期一 19:38:21
所以裏面高寬維度我都是固定的
スクルージ 2020/6/1 星期一 19:38:28
當然不一樣
スクルージ 2020/6/1 星期一 19:38:33
？？？
スクルージ 2020/6/1 星期一 19:38:47
RPN實際不是直接給proposal
スクルージ 2020/6/1 星期一 19:38:59
它給的是正樣本錨框的偏移量
fasterrcnn 2020/6/1 星期一 19:39:12
是啊
fasterrcnn撤回了一條消息
スクルージ 2020/6/1 星期一 19:39:25
我沒理解歸一化的意思
スクルージ 2020/6/1 星期一 19:39:29
fasterrcnn 2020/6/1 星期一 19:40:06
後面進行分類不是用的全連接？
スクルージ 2020/6/1 星期一 19:40:54
？
輕指談笑紅塵 2020/6/1 星期一 19:40:54
那個roi pooling
スクルージ 2020/6/1 星期一 19:40:57
哦哦哦
スクルージ 2020/6/1 星期一 19:40:58
你是說
スクルージ 2020/6/1 星期一 19:41:01
定維
スクルージ 2020/6/1 星期一 19:41:02
是嗎
スクルージ 2020/6/1 星期一 19:41:06
固定維度
スクルージ 2020/6/1 星期一 19:41:16
讓不同ROI用固定的維度輸出？
fasterrcnn 2020/6/1 星期一 19:41:21
把proposal變成7×7或者14×14
輕指談笑紅塵 2020/6/1 星期一 19:41:23
我們討論的是roi 本身的意義
fasterrcnn 2020/6/1 星期一 19:41:23
還有其他的地方用了roi?
スクルージ 2020/6/1 星期一 19:41:36
ROI的意思是感興趣的區域
スクルージ 2020/6/1 星期一 19:41:42
你可能指的是ROI池化
スクルージ 2020/6/1 星期一 19:41:47
fasterrcnn 2020/6/1 星期一 19:42:29
後面的也就這裏用到了roi吧，還有其他用了？
スクルージ 2020/6/1 星期一 19:42:29
對了 有麼有老哥復現了靠譜的ROI池化 TF能用的？
スクルージ 2020/6/1 星期一 19:42:47
fasterrcnn
@fasterrcnn 你說用到是指那個ROI池化還是這個座標
スクルージ 2020/6/1 星期一 19:43:04
如果沒記錯 完整版的最後邊框還回歸了一次
スクルージ 2020/6/1 星期一 19:43:12
我反正是沒寫這個
スクルージ 2020/6/1 星期一 19:43:19
我連NMS都沒寫
スクルージ 2020/6/1 星期一 19:43:24
fasterrcnn 2020/6/1 星期一 19:43:28
額，我回去看看
スクルージ 2020/6/1 星期一 19:43:51
我思路比較簡單，RPN辛辛苦苦算出來的ROI，你還要改？
スクルージ 2020/6/1 星期一 19:43:56
スクルージ 2020/6/1 星期一 19:44:33
最近我搞了一個RPN+FPN的玩意
fasterrcnn 2020/6/1 星期一 19:44:36
對呀，我就記得RPN出來的就是了
スクルージ 2020/6/1 星期一 19:44:45
スクルージ 2020/6/1 星期一 19:44:51
這玩意我正愁怎麼訓練
fasterrcnn 2020/6/1 星期一 19:45:03
後面就是計算矯正了
スクルージ 2020/6/1 星期一 19:45:19
按道理三個輸出都有對應的anchors和dxdydwdh