《Practical Window Setting Optimization for Medical Image Deep Learning》
發表會議： NIPS 2018
作者：
Hyunkwang Lee
Harvard University
Myeongchan Kim
Massachusetts General Hospital
Synho Do
Massachusetts General Hospital
三個畢業於哈佛大學，就職於麻省總醫院的韓國人
Abstract：
深度學習的最新進展已允許在計算機斷層掃描（CT）中進行大量應用，並有可能提高診斷準確性，解釋速度和臨牀效率。但是，深度學習社區迄今已忽略了窗口顯示設置，這是臨牀CT解釋的關鍵功能，並且有進行其他優化的機會。在這裏，我們提出了一個窗口設置優化（WSO）模塊，該模塊可以與卷積神經網絡（CNN）完全一起訓練，以找到用於臨牀表現的最佳窗口設置。我們的方法是受放射科醫生通常使用的方法的啓發，該方法是通過調整窗口設置以增加某些病理的可視化來解釋CT圖像。我們的方法提供了最佳的窗口範圍以增強異常的顯着性，並被用於增強顱內出血和尿結石檢測的性能。在每項任務中，WSO模型的性能均優於在CT圖像以及使用預定義設置窗口化的圖像中的所有Hounseld單位值範圍內訓練的模型。WSO模塊可以很容易地應用於CT圖像的任何分析，並且可以進一步推廣到其他醫學成像模式的任務。我們的窗口設置優化模塊（基於Keras）的完整實現代碼可在https://github.com/Synho/windows_optimization.git中找到。
1. Introduction
深度學習在醫學圖像分析方面取得了顯着進步，可跨多種成像方式完成各種任務（Esteva等人，2017; Gulshan等人，2016; Chilamkurthy等人，2018）。圖像分析能力的飛速進步使人們寄希望於部署這種技術將提高診斷準確性，簡化臨牀工作流程並改善患者預後（Thrall等，2018; Levin等，2018; Berlyand等，2018） 。這種進步大部分歸因於計算能力的提高以及大型且精心策劃的臨牀數據集的發展（Yu et al。，2018）。但是，近年來的研究表明，神經網絡架構和領域專用圖像預處理方面的創新仍有顯着的性能提升（Greenspan等，2016）。
通過整合有關目標成像方式和當前臨牀工作流程的專家知識，醫學領域的深度學習架構可能仍會看到顯着的性能提升。在計算機斷層掃描（CT）的情況下，圖像值是在很寬的房屋單位（HU）範圍內定義的，但通常只有在狹窄和特定的範圍內才能看到不同的組織類型和病理。因此，在解釋CT圖像時，人類專家會利用其工作站中的工具將預定的窗口級別（WL）和窗口寬度（WW）應用於其顯示窗口。這些窗口調整將可見性集中在與其任務相關的組織子集上，對於有效檢測某些病理狀況至關重要（Bae等，2005； Moise和Atkins，2004）。例如，放射科醫生可以使用預設的“腦”或“硬膜下”窗口設置進行顱內出血（ICH）檢測。儘管在臨牀實踐中最佳窗口設置很重要，但是在文獻中卻忽略了窗口設置對圖像質量和算法性能的影響。以前的大多數工作都是通過預先設置的窗口設置將CT圖像轉換爲灰度圖像，將三個不同的窗口圖像編碼爲RGB圖像，或者使用各種圖像強度值而不將窗口作爲深度學習模型的輸入（Arbabshirani等， 2018; Hoo-Chang等人，2016; Anthimopoulos等人，2016; Chang等人，2018）。
在這項研究中，受放射科醫生解釋CT圖像的方式的啓發，我們提出了一個窗口設置優化（WSO）模塊，該模塊由具有1x1濾鏡和自定義激活功能的卷積層組成。這使我們能夠通過反向傳播以特定於任務的方式找到最佳的窗口設置，從而證明了在檢測ICH和尿結石方面模型性能的提高。該WSO模塊模仿放射科醫生的工作流程，以優化窗口功能，並專注於狹窄的窗口範圍，在該範圍內可以清楚地看到目標器官或異常。我們的方法可以潛在地應用於其他CT圖像分析任務（例如對象檢測和語義分割），或其他醫學成像模式（例如正電子發射斷層掃描（PET）掃描和磁共振成像（MRI））。
2. Methods
2.1 窗口功能
醫學圖像最常見的格式是醫學數字成像和通信（DICOM）格式。DICOM圖像以每個像素12或16位編碼，每個像素分別爲4,096或65,536級。在CT成像中，這些像素代表與組織密度相對應的衆議院單位值，通常以（-1000）到> 4000分佈。CT圖像中編碼的數據的範圍和粒度遠遠超出了人類視覺系統的感知能力，後者只能區分數百個灰度。此外，大多數醫療顯示器都支持最高8位分辨率（Kimpe和Tuytschaever，2007年）。由於這些技術和生物學原因，只有當顯示設備允許通過調整窗口設置進行窗口功能時，CT圖像才能被人成功解釋。這些設置將顯示器的可視範圍映射到指定的窗口，並將該窗口範圍之外的所有HU值分配爲0或U（圖1）。窗口函數是根據線性或S形轉換定義的，其公式如下：
常數U是開窗函數的上限，而ϵ是上限/下限與確定中心斜率的窗口結束/起始灰度級之間的餘量。
2.2 窗口設置優化模塊
放射線醫生的監視器中使用的線性和S型窗口功能可以被模擬爲神經網絡架構內的WSO模塊。這是通過使用具有1x1濾鏡和步幅設置的卷積層，然後是激活層–線性或S型開窗函數的上界整流線性單位（ReLU）或S型函數分別乘以U來實現的。在我們的實現中，全範圍DICOM圖像在用作CNN的輸入之前先通過此WSO模塊，如圖2所示。因此，可以與CNN一起優化WSO模塊中1x1卷積層的權重和偏差，從而有助於識別最佳開窗功能，從而從視覺上提取出最大分類性能所需的特徵。
2.3 數據集
該回顧性健康保險攜帶和責任法案（HIPAA）符合性研究已獲得我們機構的機構審查委員會的批准。在這項研究之前，所有的DICOM圖像都被取消了識別。對於ICH檢測，2003年6月至2017年7月之間，我們從機構的圖片存檔和通信系統（PACS）獲得了總共904例非對比CT頭顱檢查，其中包括625例ICH陽性和279例ICH陰性。對於尿路結石的檢測，我們在2016年1月至2016年10月之間從PACS檢索了總共515次未增強的腹盆腔CT檢查，包括256例石塊陰性和279例石塊陽性病例。所有頭顱CT病例的二維（2D）軸向切片被五位神經放射科醫生一致認爲是ICH的存在，所有腹部盆腔CT掃描的軸向切片均由具有6年經驗的放射科醫生標記爲存在尿路結石，並附有原始放射學報告。用於ICH和尿路結石檢測的二維軸向切片按病例隨機分爲訓練，驗證和測試數據集，以確保子集之間病例之間沒有重疊（表2）。
2.4 實驗裝置
我們評估了通過訓練Inception-v3（Szegedy等人，2016）開發的十種不同分類模型，這些模型在有和沒有使用WSO進行ICH和尿結石檢測的各種形式的輸入圖像上進行。首先，將具有完整HU值動態範圍的CT圖像用於基線模型。在沒有WSO模塊的情況下，使用兩個預定義的窗口設置之一轉換的圖像以及使用這兩個窗口設置生成的兩個通道的圖像也可用作CNN的輸入。兩種預設的窗口設置包括用於ICH檢測的“大腦”（WL = 50HU，WW = 100HU）和“硬膜下”（WL = 50HU，WW = 130HU）窗口，以及“骨頭”（bone）（WL = 300HU，WW = 1500HU）窗口）和“腹部”（WL = 40HU，WW = 400HU）以檢測尿路結石。此外，配備WSO的Inception-v3在全範圍DICOM圖像上進行了訓練，其中WOS中卷積層的權重和偏差已根據開窗函數類型進行了初始化。對於此初步研究，我們將U設置爲255，將ϵ設置爲1，然後使用等式計算關聯的W和b。線性和等式爲1。每個預定義窗口的S形爲2設置。使用默認優化和最小批量大小爲64的Adam優化器（Kingma和Ba，2014）對所有分類模型進行了60個時期的訓練。每20個紀元將0.001的基本學習率衰減10倍，並根據驗證損失選擇最佳模型。
3 Result
表1：使用不同的輸入數據和wso模塊進行ICH和尿路結石檢測的十種不同模型的性能。 S1 =腦窗，S2 = ICH的硬膜下窗設置，S1 =骨窗，sa = S的腹部窗設置
表1顯示了針對ICH和尿結石檢測的十種不同模型在測試儀上評估的平均精度（AP）和ROC曲線下面積（AUC）。在帶有預定義設置的窗口圖像上訓練的模型比在動態範圍內具有全部HU值的CT圖像訓練的模型上獲得的性能要好得多。此外，當使用WSO優化窗口設置而不是使用固定的標準窗口設置時，模型性能得到了改善，尤其是在使用Sigmoid窗口功能的情況下，該函數的參數根據兩個標準窗口設置進行了初始化。
4 Discussion
在這項研究中，我們證明，與使用全範圍DICOM圖像或具有標準預定義窗口設置的窗口圖像相比，具有WSO的模型在ICH和CT圖像上的尿路結石檢測方面具有更好的性能。此外，如圖3所示，WSO使模型能夠找到最佳的窗口設置，從而使出血和尿路結石（以黃色突出顯示）的區域相對於鄰近的解剖結構更加明顯，從而最大程度地提高了分類模型的性能。通過研究輸入圖像通道數量invest和U對目標應用程序性能的影響，可以進一步優化我們的WSO模型。另外，我們強調，此處描述的基於WSO的方法並非專門針對CT圖像的異常分類，而是可以推廣到各種醫學成像模式下的各種圖像解釋任務。
5 Acknowledgements
感謝克萊爾·簡（Claire Jeon）和塞繆爾·芬利森（Samuel G. Finlayson）對手稿的校對和建設性評論。