Metody sztucznej inteligencji w diagnostyce retinopatii cukrzycowej. Część 2.

Prof. dr hab. med. Andrzej Grzybowski
Kierownik Katedry Okulistyki, Uniwersytet Warmińsko-Mazurski, Olsztyn
Kierownik Instytutu Okulistycznych Badań Naukowych, Fundacja Okulistyka 21, Poznań

Retinalyze

Retinalyze to system przesiewowy do wykrywania retinopatii cukrzycowej (DR) opracowany w Danii. Jak wspomniano wcześniej, jest to jeden z pierwszych opublikowanych programów do automatycznej analizy DR, z pierwszymi raportami dotyczącymi jego skuteczności pochodzącymi z 2003 roku, opartymi na skanowanych obrazach dna oka z kliszy 35 mm. System oferuje interfejs internetowy, który generuje wynik dla każdego obrazu. Obrazy są przesyłane przez interfejs przy użyciu bezpiecznego protokołu internetowego. Wyniki są przedstawiane w postaci liczby/wagi wykrytych zmian siatkówki jako: brak zmian, łagodne zmiany siatkówki lub poważne zmiany. Ciekawą funkcją Retinalyze jest możliwość zobaczenia opatrzonego adnotacjami obrazu z zaznaczonymi wykrytymi zmianami siatkówki, co pozwala zrozumieć, co wpłynęło na wynik algorytmu. Po okresie nieaktywności system został ponownie wprowadzony w 2013 roku z modernizacjami opartymi na współczesnych technikach uczenia maszynowego. Retinalyze posiadał certyfikat zgodności z normami europejskimi (CE) poziomu I według poprzednich regulacji. Oferuje również przesiewowe badania w kierunku AMD i jaskry na podstawie tych samych zdjęć dna oka. (1)

RetmarkerDR

Retmarker to system wykrywania DR pochodzący z Portugalii. Jest to jedno z pierwszych narzędzi AI, które zostało z powodzeniem wdrożone do rzeczywistych badań przesiewowych, a nie tylko do celów badań klinicznych. W centralnym regionie Portugalii od 2001 roku funkcjonuje długoletni program przesiewowy DR. W 2011 roku RetmarkerDR został wdrożony do istniejącego programu przesiewowego opartego na ocenie przez ludzkich ekspertów. Program ten opiera się na zespołach fotografów wyposażonych w mobilne kamery dna oka, które rotują między różnymi placówkami medycznymi, pokrywając całą trasę w ciągu 12 miesięcy, a następnie powtarzając cykl. Pacjenci z cukrzycą i bez historii leczenia DR są zapraszani na badania przesiewowe w lokalnych ośrodkach zdrowia. Obrazy są następnie przesyłane co tydzień do centralnego ośrodka odczytu. Retmarker stanowi pierwszą linię analizy przesyłanych obrazów. Obrazy, w których algorytm wykrywa oznaki DR lub progresję choroby w przypadku powtarzanych badań, są przesyłane do oceny przez ludzkich ekspertów, podobnie jak obrazy uznane za niskiej jakości. W tym przypadku Retmarker jest używany do wstępnego sortowania na dwie kategorie: „choroba” lub „brak choroby”, co określa potrzebę oceny przez ludzkiego eksperta w podgrupie „choroba”. W celu zapewnienia jakości pewna liczba wyników negatywnych DR jest również przesyłana do analizy przez ludzi, przy czym eksperci nie są informowani o decyzji AI. Wdrożenie algorytmu AI do wykrywania DR opiera się na bardzo wysokiej czułości, ponieważ fałszywie negatywne wyniki rzadko są wykrywane, ale można sobie pozwolić na niższą specyficzność. Dopóki system eliminuje znaczną liczbę obrazów z analizy przez ludzi, nie pomijając przypadków zaawansowanej choroby, proces ten prawdopodobnie będzie efektywny pod względem zasobów, ponieważ nawet specyficzność na poziomie 50% oznacza niemalże zmniejszenie pracy ludzkich ekspertów o połowę. Ciekawą cechą Retmarkera, która wyróżnia go na tle innych algorytmów, jest możliwość uwzględnienia poprzednich badań przesiewowych. Porównując obrazy dna oka z poprzednich wizyt, system może śledzić zmiany siatkówki i określić, czy nastąpiła progresja. Prowadzi to do kolejnego interesującego obszaru – śledzenia mikrotętniaków. Mikrotętniaki znikają z czasem, a nowe się tworzą. Śledzenie tych zmian przy użyciu tradycyjnych metod opartych na ocenie przez ludzi jest bardzo pracochłonne, ale dla AI jest to niemal natychmiastowe. Tempo pojawiania się i znikania mikrotętniaków zostało nazwane „wskaźnikiem rotacji mikrotętniaków”. Opublikowano kilka badań pokazujących, że ten parametr jest obiecującym czynnikiem predykcyjnym przyszłej progresji DR. (2-4) Chociaż badania konsekwentnie łączyły zwiększoną rotację mikrotętniaków z większym ryzykiem DR, ustalenie klinicznie istotnego i możliwego do zastosowania związku między rotacją zmian a progresją retinopatii cukrzycowej wymaga dalszych prac. Oprócz wdrożenia w Portugalii, RetmarkerDR został również przebadany w jednym z nielicznych opublikowanych bezpośrednich porównań systemów AI do wykrywania DR. Badanie to, przeprowadzone w celu oceny potencjalnego wprowadzenia autonomicznego oprogramowania do wykrywania DR do istniejącego angielskiego programu przesiewowego, zaprosiło twórców algorytmów AI do zgłoszenia swoich rozwiązań. W badaniu wzięły udział trzy systemy: RetmarkerDR, Eyeart i iGradingM. Z powodu problemów technicznych iGradingM, oprogramowanie do wykrywania DR powstałe w Szkocji, zostało zdyskwalifikowane, a jego firma macierzysta została rozwiązana. Badanie obejmowało obrazy z rutynowych wizyt przesiewowych ponad 20 000 pacjentów w angielskim ośrodku przesiewowym, które zostały wcześniej ocenione zgodnie z krajowym protokołem przesiewowym. Obrazy zostały przetworzone przez systemy, a wszelkie rozbieżności w ocenie między AI a ludzkimi ekspertami zostały przesłane do zewnętrznego ośrodka odczytu. Badano zarówno skuteczność wykrywania DR, jak i opłacalność. (5) Badanie zakończyło się następującymi poziomami czułości:

• EyeArt: 94,7% dla jakiejkolwiek retinopatii, 93,8% dla retinopatii wymagającej skierowania (ocenianej przez ludzi jako nieklasyfikowalna, makulopatia, przedproliferacyjna lub proliferacyjna), 99,6% dla retinopatii proliferacyjnej;
• Retmarker: 73,0% dla jakiejkolwiek retinopatii, 85,0% dla retinopatii wymagającej skierowania, 97,9% dla retinopatii proliferacyjnej.

Specyficzność:

• 20% dla Eyeart dla jakiejkolwiek DR
• 52,3% dla Retmarker dla jakiejkolwiek DR

Chociaż czułość Eyeart była znacznie wyższa, sytuacja odwróciła się w przypadku specyficzności. Warto zauważyć, że oba systemy miały znacznie niższą specyficzność w porównaniu z bardziej współczesnymi raportami i szacunkami dotyczącymi tych i innych oprogramowań. Należy pamiętać, że chociaż badanie zostało opublikowane w 2016 roku, rozpoczęło się kilka lat wcześniej, w okresie, gdy metody uczenia maszynowego i analizy obrazu uległy znaczącej poprawie, co prawdopodobnie wpłynęło na rozwój algorytmów.

Eyeart

Eyeart, drugie oprogramowanie porównywane w ramach brytyjskiego programu przesiewowego, jest rozwijane przez Eyenuk Inc. z siedzibą w Los Angeles w USA. Oferuje również inny produkt – Eyemark do śledzenia progresji DR, który, podobnie jak Retmarker, umożliwia pomiar rotacji mikrotętniaków. Eyeart może przyjmować zmienną liczbę zdjęć na pacjenta, co czyni go odpowiednim dla różnych scenariuszy przesiewowych bez konieczności dodatkowych modyfikacji, w przeciwieństwie do niektórych konkurentów. Rozwiązuje to wiele problemów, jak pokazał przykład IDxDR, który musiał zostać specjalnie zmodyfikowany, aby przyjmować pojedynczy obraz na oko w zestawie danych Messidor-2, zamiast typowego wejścia dwóch obrazów. Eyeart został zweryfikowany retrospektywnie na bazie danych obejmującej 78 685 wizyt pacjentów (łącznie 627 490 obrazów) z wynikiem „skierować/nie skierować” i ostateczną czułością przesiewową 91,7% oraz specyficznością 91,5% w porównaniu z oceną przez ekspertów z Eye Picture Archive Communication System (EyePACS), jednak tylko streszczenie badania było dostępne online. (6) Wydaje się, że Eyeart postanowił kontynuować tę linię badań, publikując pełne badanie przeprowadzone na ponad 100 000 kolejnych wizyt pacjentów z bazy danych EyePACS. Łącznie przeanalizowano 850 908 obrazów zebranych z 404 placówek podstawowej opieki zdrowotnej w latach 2014–2015. Pacjenci zazwyczaj mieli wykonane 8 zdjęć, 4 na oko: 1 obraz zewnętrzny oka, pojedynczy obraz skoncentrowany na plamce i tarczy nerwu wzrokowego oraz obraz skroniowy do tarczy, chociaż żaden pacjent nie został zdyskwalifikowany z powodu liczby wykonanych zdjęć lub ich rozdzielczości. Obrazy były prawie równo podzielone między zdjęcia bez mydriazy (54%) i z mydriazą (46%). Ostateczne wyniki wykrywania DR wymagającej skierowania wyniosły 91,3% czułości i 91,1% specyficzności, zgodnie z wcześniejszymi częściowymi wynikami. Czułość wykrywania wyższych poziomów DR, które są leczone – ciężkiej lub proliferacyjnej DR – wyniosła 98,5%, a wykrywanie klinicznie istotnego cukrzycowego obrzęku plamki (CSME) – 97,1% (w porównaniu z oceną przez ludzi na podstawie tych samych zdjęć dna oka). Dokładność systemu nie wydawała się zmieniać w zależności od mydriazy, z czułością 98,0% i 98,8% dla wykrywania leczonej DR odpowiednio w przypadku wizyt bez mydriazy i z mydriazą. Tylko 910 wizyt, czyli mniej niż 1%, zostało uznanych za niemożliwe do przesiewania przez Eyeart, z czego 198 wizyt zostało wcześniej uznanych za niewystarczające do pełnej oceny przez ludzi. Niemniej jednak wśród tych 910 wizyt ponad jedna trzecia miała ciężką lub proliferacyjną DR, a autorzy zauważają, że system traktuje pacjentów niemożliwych do przesiewania jako pozytywnych ze względu na bezpieczeństwo pacjentów. (7) Eyeart przeanalizował całą kohortę ponad 100 000 wizyt przesiewowych, prawie milion obrazów, w mniej niż 2 pełne dni. (8) Zakładając średni czas oceny 30 sekund na obraz, to samo zadanie zajęłoby około 7000 godzin pracy lub około 4 pełnoetatowych ekspertów pracujących przez cały rok, co pokazuje, jak znacznie szybsza może być analiza komputerowa. Oczywiście w rzeczywistym scenariuszu przesiewowym nikt nie ocenia tysięcy obrazów naraz, ale szybki wynik dostępny w ciągu kilku minut od badania jest znacznie bardziej satysfakcjonujący, a AI może to robić 24 godziny na dobę, każdego dnia w roku. Eyeart osiągnął podobne wyniki pod względem czułości do wspomnianego wcześniej badania z Wielkiej Brytanii dotyczącego wykonalności przesiewowego wykrywania DR za pomocą AI, chociaż istnieje bardzo znacząca rozbieżność w specyficzności między tymi dwoma badaniami. (7,8) Jak wspomniano wcześniej, badania te nie były przeprowadzane w tym samym okresie, a dalsze ulepszenia systemu prawdopodobnie odpowiadają za wzrost jego dokładności. Rzeczywiście, autorzy sami opisują poprawę, jaką przeszła wersja 1.2 Eyeart (nadal oparta na tradycyjnych technikach analizy obrazu), z włączeniem wielu konwolucyjnych sieci neuronowych. Eyeart został również przetestowany na zestawie danych Messidor-2. Czułość wykrywania DR wymagającej skierowania wyniosła 93,8%, a specyficzność 72,2%. Co ważne, ten zestaw danych nie ma wstępnie zdefiniowanego wyniku lub oceny, co wymaga oddzielnego zestawu ekspertów do oceny w celu porównania z AI, a ta ocena jest oddzielna dla każdego badania, co dodatkowo utrudnia bezpośrednie porównanie systemów. Wreszcie Eyeart niedawno opublikował wyniki swojego najbardziej solidnego badania klinicznego do tej pory. Badanie zostało zarejestrowane wcześniej, podobnie jak kluczowe badanie IDx-DR, i obejmowało podobną liczbę pacjentów – łącznie 893 pacjentów. Badanie przesiewowe przeprowadzono w klinikach podstawowej opieki zdrowotnej, najpierw z dwupolowymi zdjęciami dna oka bez mydriazy, a następnie z czteropolowymi zdjęciami z mydriazą. Badanie porównało zdolność Eyeart do wykrywania klinicznie istotnego cukrzycowego obrzęku plamki (CSME), umiarkowanej nieproliferacyjnej DR lub wyższej na podstawie dwupolowego obrazowania z decyzją zewnętrznego ośrodka odczytu (Wisconsin Fundus Photograph Reading Center, takiego samego jak w badaniu IDx-DR) na podstawie czterech szerokokątnych stereoskopowych obrazów na oko. W przypadku badań przesiewowych bez mydriazy EyeArt wykazał wysoką czułość na poziomie 95,5%, dobrą specyficzność 86% i możliwość oceny 87,5%. Po rozszerzeniu źrenic pacjentów z grupy początkowo niemożliwej do oceny ogólna możliwość oceny wzrosła do 97,4%, przy zachowaniu tej samej czułości i wzroście specyficzności o 0,5% do 86,5%. Chociaż to badanie nie obejmowało obrazowania OCT w celu wykrycia CSME, pod wszystkimi innymi względami wydaje się podobne do badania klinicznego IDx-DR, z podobnymi wynikami pod względem dokładności obu systemów. Innym wynikiem, być może jeszcze bardziej zaskakującym niż doskonała wydajność AI, było porównanie oparte na podgrupie pacjentów w tym badaniu, którzy przeszli oftalmoskopię po rozszerzeniu źrenic po obrazowaniu dna oka. Łącznie przebadano 497 pacjentów w 10 ośrodkach klinicznych w USA, w tym w specjalistycznych ośrodkach siatkówkowych i ogólnych klinikach okulistycznych. Wyniki porównano z decyzją arbitrażową ośrodka odczytu Wisconsin na podstawie czterech szerokokątnych stereoskopowych zdjęć dna oka. Chociaż badania oftalmoskopowe miały wysoką specyficzność 99,5%, towarzyszyła jej bardzo niska czułość 28,1% ogółem. Nawet wśród specjalistycznych ośrodków siatkówkowych czułość wynosiła tylko 59,1%. (8) To pokazuje, że ocena przez ludzi przy użyciu oftalmoskopii, jednego z powszechnie dostępnych narzędzi w klinikach podstawowej opieki zdrowotnej, jest mało prawdopodobna, aby była rozsądnym rozwiązaniem przesiewowym, skoro nawet okuliści mają problemy z jej dokładnością.

Literatura:

1. Grzybowski A. Artificial inteligence in Ophthalmology, Springer 2021.
2. Haritoglou C, Kernt M, Neubauer A, Gerss J, Oliveira CM, Kampik A, et al. Microaneurysm formation rate as a predictive marker for progression to clinically significant macular edema in nonproliferative diabetic retinopathy. Retina. 2014;34(1):157–164.
3. Nunes S, Pires I, Rosa A, Duarte L, Bernardes R, Cunha-Vaz J. Microaneurysm turnover is a biomarker for diabetic retinopathy progression to clinically significant macular edema: findings for type 2 diabetics with nonproliferative retinopathy. Ophthalmologica. 2009;223(5):292–297.
4. Pappuru RK, Ribeiro L, Lobo C, Alves D, Cunha-Vaz J. Microaneurysm turnover is a predictor of diabetic retinopathy progression. Br J Ophthalmol. 2019;103(2):222–226.
5. Tufail A, Kapetanakis VV, Salas-Vega S, Egan C, Rudisill C, Owen CG, et al. An observational study to assess if automated diabetic retinopathy image assessment software can replace one or more steps of manual imaging grading and to determine their cost-effectiveness. Health Technol Assess. 2016;20(92):1–72.
6. Bhaskaranand M, Ramachandra C, Bhat S, Cuadros J, Nittala MG, Sadda SR, et al. The Value of Automated Diabetic Retinopathy Screening with the EyeArt System: A Study of More Than 100,000 Consecutive Encounters from People with Diabetes. Diabetes Technol Ther. 2019;21(11):635–643.
7. Solanki K, Bhaskaranand M, Bhat S, Ramachandra C, Cuadros J, Nittala MG, et al. Automated diabetic retinopathy screening: large-scale study on consecutive patient visits in a primary care setting. In: DIABETOLOGIA. SPRINGER 233 SPRING ST, NEW YORK, NY 10013 USA; 2016. p. S64–S64.
8. Ipp E, Shah VN, Bode BW, Sadda SR. 599-P: Diabetic Retinopathy (DR) Screening Performance of General Ophthalmologists, Retina Specialists, and Artificial Intelligence (AI): Analysis from a Pivotal Multicenter Prospective Clinical Trial. Diabetes [Internet]. 2019 Jun 1 [cited 2020 Feb 26];68(Supplement 1). Available from: https://diabetes.diabetesjournals.org/content/68/Supplement_1/599-P