以下內容摘自原文翻譯（摘錄）
2024年6月5日
Oran Lang，Google Research軟體工程師，Heather Cole-Lewis，Google Core Health Equity臨床科學家
我們提出了一個用於理解醫學成像中的人工智慧模型的框架，利用生成式人工智慧和跨學科專家評論來識別和解釋與模型預測相關的視覺線索。
機器學習（ML）有潛力徹底改變醫療保健，從減少工作量和提高效率到發現新的生物標誌物和疾病信號。為了負責任地利用這些好處，研究人員採用了可解釋性技術來了解機器學習模型如何做出預測。然而，當前基於顯著性的方法會突出重要的圖像區域，並且通常無法解釋特定的視覺變化如何驅動機器學習決策。可視化這些變化（我們稱之為「屬性」）有助於詢問量化指標中不容易明顯的偏見方面，例如如何規劃數據集、如何訓練模型、問題制定和人機互動。這些可視化還可以幫助研究人員了解這些機制是否可能代表進一步研究的新見解。
在《柳葉刀eBioMedicine》上發表的《使用生成性人工智慧研究醫學成像模型和數據集》中，我們探索了生成性模型的潛力，以增強我們對醫學成像ML模型的理解。基於之前發布的StylEx方法（該方法可以生成分類器的視覺解釋），我們的目標是開發一種可廣泛用於醫學成像研究的通用方法。為了測試我們的方法，我們根據最新的科學文獻選擇了三種成像模式（外部眼睛照片、底部照片和胸部X光[CXR]）和八項預測任務。其中包括作為「陽性對照」的既定臨床任務，其中已知屬性有助於預測，以及臨床醫生未經培訓執行的任務。對於外部眼睛照片，我們檢查了能夠從眼睛前部圖像中檢測疾病跡象的分類器。對於眼底照片，我們檢查了分類器，它在預測心血管風險因素方面顯示出令人驚訝的結果。此外，對於CXR，我們檢查了異常分類器及其預測種族的令人驚訝的能力。
用於研究醫學成像模型和數據集的GenAI框架
我們的框架分為四個關鍵階段：
分類器培訓：
我們訓練機器學習分類器模型來執行特定的醫學成像任務，例如檢測疾病跡象。此步驟後，模型將被凍結。如果感興趣的模型已經可用，則可以在凍結狀態下使用它，而無需進一步修改模型。
StylEx培訓：
然後我們訓練了StylEx生成模型，其中包括基於StyleGAN-v2的圖像生成器，並有兩個額外損失。第一個額外的損失是自動編碼器損失，它教導生成器創建與輸入圖像類似的輸出圖像。第二個損失是分類器損失，這導致生成圖像的分類器概率與輸入圖像的分類器概率相同。總體而言，這些損失使生成器能夠生成看起來真實並保留分類器預測的圖像。
自動屬性選擇：
我們使用StylEx模型通過為一組圖像創建反事實可視化來自動生成視覺屬性。每個反事實可視化都基於真實圖像，但使用StylEx生成器進行修改，一次更改一個屬性（請參閱下面的動畫）。然後對屬性進行過濾和排序，以保留對分類器決策影響最大的屬性。
專家組評審：
最後，由相關臨床專家、社會科學家等組成的跨學科專家團隊，分析了已識別的屬性並在其醫學和社會背景下對其進行解釋。
結論
我們的研究證明了生成模型在醫學成像中增強機器學習模型可解釋性的潛力。通過將技術進步與跨學科專業知識相結合，我們可以負責任地使用人工智慧來發現新知識、改善醫學診斷並解決醫療保健中的偏見。我們鼓勵在該領域進行進一步研究，並強調機器學習研究人員、臨床醫生和社會科學家之間合作的重要性。
如果您想了解更多信息，可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡，請訂閱並點讚。謝謝
原文：https://research.google/blog/using-generative-ai-to-investigate-medical-imagery-models-and-datasets/
輸油管：