Behoedzaam aan de slag met AI in de zorg

Snelle ontwikkelingen

De ontwikkelingen op het gebied van AI gaan snel, maar de implementatie in de zorg blijft achter. "De meeste modellen blijven in de la liggen en worden maar weinig klinisch toegepast," merkte Gommers op. Hij ziet echter potentieel in large language models en andere AI-toepassingen, mits de kwaliteit en juridische aspecten goed geborgd zijn.

Gommers wees op de toenemende disbalans tussen zorgvraag en zorgaanbod. Personeelstekorten zijn een groot probleem, en de vergrijzing zal dit alleen maar verergeren. "Verpleegkundigen verliezen hun werkplezier door een gebrek aan persoonlijk contact met patiënten, te weinig autonomie en onvoldoende carrièreperspectieven," waarschuwde Gommers. AI kan een oplossing bieden, maar kijk wel eerst goed naar wat het probleem is.

Praktijkvoorbeeld

In 2020 is in het Erasmus MC begonnen met de ontwikkeling van een AI-model. In 6 tot 12 weken tijd is in samenwerking met de TU Delft een model ontwikkeld. Dat is snel, en dit laat tegelijkertijd zien dat de grootste uitdaging niet zit in het ontwikkelen van het systeem maar in de implementatie ervan. Het trainen van het AI-systeem en het gebruik van veilige brondata is essentieel. Zo leidde een verandering van de inrichting van het elektronisch patiëntendossier tot ongewenste uitkomsten in het AI-systeem.

Een belangrijk punt is de duidelijkheid over de rolverdeling tussen arts, patiënt en AI-ontwikkelaar. "Naar wie luister je dan als patiënt? Naar de arts of het AI-model? Het is belangrijk dat daar duidelijkheid over komt," zei Gommers. Binnen het Erasmus MC wordt daar in het nieuwe AI-ethieklab, opgericht in samenwerking met de TU Delft, nu uitgebreid over nagedacht.

Samenwerking, preventie en medemenselijkheid

Gommers benadrukte het belang van samenwerking in de zorg. "Tijdens Covid was kennisdeling erg belangrijk. Samenwerken is essentieel" zei hij. Dat klinkt logisch, maar door de concurrentie tussen ziekenhuizen, ingegeven door verzekeraars, wordt samenwerking vaak bemoeilijkt.

Gommers pleitte ook voor een sterkere focus op preventie. "Op de IC is het grootste deel van de patiënten 70 jaar of ouder, vaak met morbide obesitas. Al op jonge leeftijd moet je aan preventie doen," zei hij. Volgens hem moeten er vroegtijdig gesprekken worden gevoerd over behandelwensen en kwaliteit van leven. “Heeft een IC-opname wel of geen zin?” Artsen hebben nu niet altijd alle informatie om de patiënt goed te informeren. Besluiten worden op basis van ervaring genomen, terwijl het wenselijk is dat meer te objectiveren. De inzet van een AI-systeem kan uitkomst bieden. “Maar verlies de medemenselijkheid niet uit het oog”, aldus Gommers.

Juridische aspecten van AI

Advocaten Matthijs Gardien en Bine Schoenmaker bespraken de juridische uitdagingen van AI in de zorg. AI-systemen zijn vaak niet transparant en moeilijk uitlegbaar, wat risico's met zich meebrengt. "Een patiënt heeft het recht geïnformeerde keuzes te maken over de behandeling die de patiënt zal ondergaan.” Het feit dat AI een ‘black box’ is, waarin niet altijd duidelijk is hoe een bepaalde uitkomst tot stand is gekomen, maakt het moeilijk om te zorgen dat patiënten een geïnformeerde keuze maken over een behandeling. Ook brengt het trainen van AI risico’s met zich mee op het gebied van vertrouwelijkheid: medische gegevens moeten niet zomaar toegankelijk zijn.

AI en wetgeving

De Algemene Verordening Gegevensbescherming (AVG) stelt strikte eisen voor het verwerken van persoonsgegevens. Uitgangspunten uit de AVG zoals dataminimalisatie en transparantie botsen met de datahonger van AI. Matthijs Gardien en Bine Schoenmaker adviseerden onder andere om een data protection impact assessment (DPIA) uit te voeren voordat een AI-systeem in gebruik wordt genomen en duidelijke verwerkersovereenkomsten met de leveranciers van AI op te stellen.

De AI Act die in de komende jaren gaat gelden, introduceert nieuwe regels per risicoklasse voor AI-systemen. AI-systemen in de zorg zullen waarschijnlijk onder hoog risicosystemen vallen, waarvoor strikte eisen gelden op het gebied van risicobeheer, transparantie, logging en cyberveiligheid. AI-toepassingen kunnen ook onder de Medical Device Regulation (MDR) vallen, wat aanvullende eisen met zich meebrengt. De AI-aansprakelijkheidsrichtlijn, die nog in ontwikkeling is, beoogt duidelijkheid te scheppen over de aansprakelijkheid bij schade door AI-systemen.

Contracteren met AI-leveranciers

Het is van essentieel belang om goede contractuele afspraken te maken met AI-leveranciers. Hierbij moeten onder andere de volgende punten worden overwogen:

• Aansprakelijkheidsverdeling: Als er iets misgaat, dan zal de patiënt in eerste instantie de zorgverlener aanspreken. Maak duidelijke afspraken over de aansprakelijkheid van de aanbieder van het AI-systeem.
• Continuïteit van het systeem: Regel toegang tot het systeem in geval van faillissement van de leverancier, bijvoorbeeld via een escrow-regeling, waarbij toegang kan worden verkregen tot de laatste broncode van het systeem.
• Gebruiksrechten: Bepaal wie de output van het AI-systeem mag gebruiken: alleen de zorgverlener of ook de patiënt?
• Verantwoordelijkheid voor de output: Maak goede afspraken over wie verantwoordelijk is voor de output van het AI-systeem.
• Intellectuele eigendomsrechten: Leg vast bij wie de rechten liggen op de data die in het systeem wordt gestopt en de output ervan. Maak afspraken over gebruikslicenties en het gebruik van de output voor trainingsdoeleinden.
• Onderzoek bij schade: Spreek af dat de leveranciers verplicht is mee te werken aan onderzoek naar de oorzaak van eventuele schade door het AI-systeem.
• Auditrechten: Zorg voor de mogelijkheid tot onafhankelijke toetsing van het systeem en leg de kosten hiervan vast.
• Beveiliging: Neem passende organisatorische en technische beveiligingsmaatregelen om de goede werking van het AI-systeem te waarborgen.
• Service levels: Spreek duidelijke service levels af over de prestaties van het systeem.
• Samenwerking met andere zorgaanbieders: Versterk je onderhandelingspositie door samenwerking aan te gaan met andere zorgaanbieders. In de praktijk zien we dit helaas nog niet veel gebeuren.

Afsluitend

Het zorgsymposium onderstreepte het potentieel van AI in de zorg, maar ook de noodzaak van zorgvuldige implementatie en juridische waarborgen. Het gebruik van veilige brondata en training van het AI-systeem zijn cruciaal voor een succesvolle integratie van AI in de gezondheidszorg. Ook moeten zorgverleners goed geïnformeerd zijn over de AI-systemen die zij gebruiken en deze systemen op een transparante manier kunnen uitleggen aan patiënten. Daarnaast is het belangrijk om zorgvuldig na te denken over welke persoonsgegevens nodig zijn voor het gebruik van AI-systemen en juridische waarborgen te treffen, zoals het maken en vastleggen van duidelijke afspraken in contracten.

De toekomst van AI in de zorg ligt uiteindelijk in de balans tussen de inzet van AI en het behoud van empathische zorg. Door AI slim in te zetten, kan de zorgvraag worden verminderd, kan het werkplezier van zorgmedewerkers worden behouden en kan tegelijkertijd kwalitatieve zorg worden geboden.