近日，全球計算機視覺三大頂會之一的CVPR（IEEE國際計算機視覺與模式識別會議）公佈了2021年度的論文錄用結果。騰訊醫典AI團隊與北京大學共同合作的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，憑藉在醫學圖像報告自動生成領域的研究突破成功入選。
CVPR在2020年穀歌學術排行榜人工智能領域中排名第一，本次大會共收到來自全球超7000份論文投稿，最終1663篇論文獲得錄用，錄用率僅爲23.7%。
醫學圖像被廣泛應用於診斷參考，基於肺部CT的新冠肺炎診斷也在疫情期間成爲防控的關鍵。在醫療實踐中，醫生需要針對醫學圖像按標準撰寫和輸出醫學報告。面對龐大的患者數量，爲所有的圖像逐一撰寫報告佔據了醫生大量工作時間，不同醫生的經驗差異也使得部分圖像中的異常被忽略，無法體現在報告中。
如何藉助人工智能快速、準確地自動生成報告，對於提升醫生工作效率和服務質量具有重要的實用價值，也成爲了近年醫學圖像研究領域中的一個重要課題。
然而，先進的醫學圖像報告自動生成系統也很容易受醫學圖像報告中的數據偏差誤導。本次騰訊醫典AI入選的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，創新地提出了後驗-先驗知識探索及蒸餾(PPKED)框架，模仿人類醫生的判讀方式，結合先驗和後驗知識來生成報告，以提高最終生成的醫學報告質量，針對性彌補了這一不足。
模型中的先驗探索(PrKE)模塊，可以通過預構建包含心臟肥大、脊柱側彎、鈣化點、肺炎等常見異常特徵信息的知識圖譜，模擬醫生學習過的醫學知識，以更好地識別出各種圖像中的異常。另一方面，通過在訓練集中匹配、提取已知的相似圖像和報告，可以與病人的歷史報告做比對參考，模型亦在一定程度上模擬了醫生根據自身豐富的經驗來做決策的過程，實現利用先驗知識來指導報告的生成。
在後驗探索(PoKE)模塊中，模型可實現將當前圖像進行標籤分類，模擬醫生找尋圖像異常的過程，大致框定異常的區域，提醒醫生針對該區域做進一步識別處理。先驗和後驗知識在經過多領域知識蒸餾(MKD)模塊的綜合過濾後，將生成最終的報告。
這一創新模型在IU-Xray和MIMIC兩個國際公認的公開數據集上，取得了比以往所有同類模型更好的結果，可以有效地生成更高質量的報告。
醫學圖像報告自動生成模型的論文登上人工智能領域第一的行業會議，是騰訊醫典在人工智能領域的又一次深入探索。騰訊醫典AI團隊專注於醫學知識圖譜、醫學自然語言理解、多模態深度學習等領域的研究，將持續在醫學知識生成和推送、人工智能輔助診療等領域向行業輸出切實可行的解決方案和領先技術，用科技提升醫療服務效率，助力醫療行業的數字化轉型。
本文分享自微信公衆號 - 架構真經（gentoo666）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。