記得一起blu老哥給過一個相關的工具鏈，但這個更加系統簡單。
Grad-CAM
Grad-CAM是指Gradient-weighted Class Activation Mapping，研究人員提出利用這種梯度權重激活映射來對卷積神經網絡的分類進行解釋，在輸入的圖片中粗略地顯示出模型預測出的類別對應的重要性區間。這種方式可以廣泛試用於CNN模型家族的模型預測可視化過程。
上圖中可以看到對於貓和狗不同的分類，顯示出的置信區域也各部相同。同時還能顯示視覺問答的過程：
深度學習可視化工具大盤點 | 慧都大數據
http://bigdata.evget.com/post/1489.html