Omówienie artykułu pt. „Rola map istotności w zwiększaniu zaufania okulistów do modeli sztucznej inteligencji” opublikowanego w Asia Pac J Ophthalmol (Phila) w 2024 roku [1].
Prof. dr hab. med. Andrzej Grzybowski
Kierownik Katedry Okulistyki, Uniwersytet Warmińsko-Mazurski, Olsztyn
Kierownik Instytutu Okulistycznych Badań Naukowych, Fundacja Okulistyka 21, Poznań
W artykule omówiono zastosowanie map istotności (ang. saliency maps, SM) jako narzędzi zwiększających zaufanie okulistów do modeli sztucznej inteligencji (ang. artificial intelligence, AI). Mapy te pomagają w wizualizacji najważniejszych cech wpływających na decyzje modeli AI, co ostatecznie poprawia zrozumienie i zwiększa interpretowalność tych systemów. Celem artykułu było zbadanie czy mapy istotności rzeczywiście przyczyniają się do zwiększenia zaufania klinicystów do modeli AI oraz jakie ograniczenia wiążą się z ich stosowaniem.
Wprowadzenie do problemu
Rozwój AI w ciągu ostatniej dekady znacznie przyczynił się do usprawnień w okulistyce, szczególnie w diagnozowaniu chorób za pomocą obrazów. Mimo to, złożoność tych systemów powoduje, że ich decyzje często są postrzegane jako „czarna skrzynka”. Klinicyści nie zawsze rozumieją, na jakiej podstawie AI podejmuje decyzje, co może prowadzić do braku zaufania do systemu. Mapy istotności (SM) mają na celu rozwiązanie tego problemu, dostarczając wizualnych wyjaśnień decyzji podejmowanych przez modele AI.
Metody i cele badań
Autorzy przeprowadzili analizę badań dotyczących wykorzystania SM w okulistyce, skupiając się na czterech głównych chorobach: jaskrze, krótkowzroczności, zwyrodnieniu plamki związanemu z wiekiem (AMD) oraz retinopatii cukrzycowej (DR). Badania zostały wyselekcjonowane z baz MEDLINE, Embase i Web of Science, obejmując lata 2010-2024. Zebrano 332 artykuły, z czego 24 spełniały kryteria przeglądu.
Zastosowania map istotności
Jaskra
Mapy istotności były stosowane w diagnostyce jaskry, szczególnie w obrazach dna oka. Na przykład, Ko i in. wykorzystali mapy aktywacyjne do wizualizacji regionów zainteresowania (ROI), które algorytm uznał za istotne przy diagnozowaniu neuropatii nerwu wzrokowego w jaskrze. Mapy potwierdzały, że algorytm skupiał się na obszarach, które zazwyczaj analizują okuliści, takich jak tarcza nerwu wzrokowego i zanik okołotarczowy. Badania wykazały, że modele AI mogą skutecznie diagnozować jaskrę, jednak interpretacja map wymagała subiektywnej oceny lekarzy, co budziło wątpliwości co do ich pełnej użyteczności klinicznej.
Krótkowzroczność
Mapy istotności były również stosowane do analizy krótkowzroczności. Huang i in. zastosowali je do wykrywania zmian patologicznych w oku, takich jak trakcja plamki w krótkowzroczności. Mapy pokazywały lokalizacje zmian, co potwierdzało kliniczną wartość modeli AI. Inne badania sugerowały, że mapy mogą wskazywać na ważne cechy chorobowe, takie jak odwarstwienia siatkówki, jednak podkreślano, że same mapy nie są wystarczającym narzędziem, aby w pełni zaufać decyzjom AI.
AMD (zwyrodnienie plamki związane z wiekiem)
W diagnostyce AMD mapy istotności pomagały zrozumieć, na jakie cechy obrazu modele AI zwracają uwagę, np. na obszary z nagromadzeniem płynu podsiatkówkowego lub wewnątrzsiatkówkowego. Przykłady zastosowania tych narzędzi w badaniach Rim i in. [2] oraz Ayhan i in. [3] wykazały, że mapy często koncentrowały się na obszarach istotnych klinicznie, co zwiększało zaufanie do modeli AI w diagnozowaniu AMD.
Retinopatia cukrzycowa (DR)
Mapy istotności były szeroko stosowane w diagnostyce retinopatii cukrzycowej, pozwalając na identyfikację istotnych patologicznych zmian, takich jak mikrotętniaki i wysięki. Modele AI, takie jak te badane przez Lo [4] i Papadopoulos [5], wykazały wysoką skuteczność w diagnozowaniu DR, co sugerowało, że mapy mogą zwiększać zrozumienie decyzji AI. Jednak problemy związane z jakością map i ich interpretacją były podobne do tych obserwowanych w innych przypadkach.
Problemy i ograniczenia map istotności
- Ograniczona rozdzielczość: Mapy istotności, szczególnie te oparte na metodzie GradCAM, często mają zbyt niską rozdzielczość, aby dokładnie zidentyfikować drobne zmiany patologiczne, takie jak mikrotętniaki czy drobne obszary zaniku.
- Wrażliwość na zakłócenia: Mapy te są podatne na błędy spowodowane zakłóceniami, np. mogą błędnie wskazywać na obszary, które nie są istotne klinicznie, takie jak obszar tarczy nerwu wzrokowego w obrazach jaskry.
- Zależność od jakości danych: Mapy istotności są mniej skuteczne, gdy obrazy wejściowe są niskiej jakości. Na przykład, w analizie obrazów związanych z krótkowzrocznością, mapy mogą nie wykrywać subtelnych zmian patologicznych.
Zaufanie do AI a mapy istotności
Autorzy podkreślili, że mapy istotności są często używane do „walidacji” modeli AI, co może prowadzić do fałszywego poczucia bezpieczeństwa. Badania wykazały, że mapy te nie zawsze skutecznie wyjaśniają proces decyzyjny modeli AI, co budzi wątpliwości co do ich roli w budowaniu zaufania klinicystów. Okuliści, korzystając z map, często polegają na własnej subiektywnej interpretacji, co może prowadzić do błędów.
Zalecenia na przyszłość
- Poprawa jakości map istotności: Konieczne jest opracowanie bardziej precyzyjnych i wiarygodnych metod wyjaśniania decyzji modeli AI. Nowsze techniki, takie jak Guided GradCAM i Eigen GradCAM, mogą oferować bardziej dokładne wyjaśnienia.
- Standardy oceny jakości map: Autorzy zalecają opracowanie standaryzowanych ram oceny map istotności, aby lepiej oceniać ich skuteczność i przydatność kliniczną.
- Zastosowania poza interpretacją: Chociaż mapy istotności mogą nie być idealnym narzędziem do zwiększania zaufania do AI, mogą być używane w innych obszarach, takich jak testowanie hipotez badawczych (np. identyfikacja nowych biomarkerów) oraz debugowanie modeli.
Wnioski
Podsumowując, mapy istotności mają ograniczoną wartość jako narzędzie do zwiększania zaufania do modeli AI. Mogą być użyteczne w zrozumieniu działania modeli, ale ich ograniczenia techniczne i subiektywna interpretacja ograniczają ich skuteczność. Autorzy sugerują, że większy nacisk powinien być kładziony na poprawę bezpieczeństwa modeli AI, ich generalizowalności oraz odpowiedzialności za wyniki, aby ostatecznie zbudować zaufanie do systemów AI w medycynie.
Piśmiennictwo
1. Wong CYT, Antaki F, Woodward-Court P, Ong AY, Keane PA. The role of saliency maps in enhancing ophthalmologists’ trust in artificial intelligence models. Asia Pac J Ophthalmol (Phila). 2024 Jul-Aug;13(4):100087.
2. Rim TH, Lee AY, Ting DS, et al Detection of features associated with neovascular age-related macular degeneration in ethnically distinct data sets by an optical coherence tomography: trained deep learning algorithm. British Journal of Ophthalmology 2021;105:1133-1139.
3. Ayhan MS, Faber H, Kühlewein L, et al. Multitask learning for activity detection in neovascular age-related macular degeneration. Transl Vis Sci Technol. 2023;12(4):12.
4. Lo JE, Kang EYC, Chen YN, et al. Data homogeneity effect in deep learning-based
prediction of type 1 diabetic retinopathy. J Diabetes Res. 2021;2021:2751695.
5. Papadopoulos A, Topouzis F, Delopoulos A. An interpretable multiple-instance approach for the detection of referable diabetic retinopathy in fundus images. Sci Rep. 2021;11(1), 14326.