Avvikssystem och KI: vad måste registreras

Ingress

Artificiell intelligens blir en del av allt fler system inom tandvården. Tekniken kan bidra till analys av röntgenbilder, generering av journaltext eller stöd i administrativa processer.

När KI ingår i klinikens arbetsprocesser kan det också bli en del av situationer där avvikelser uppstår. I sådana fall är det viktigt att förstå vilken roll tekniken spelade.

Denna artikel förklarar hur avvikssystem kan hantera händelser där KI är involverad och vilken information som bör registreras för att göra händelser förståeliga i efterhand.

Vad menas med KI-användning i tandvård?

KI inom tandvård omfattar digitala system som analyserar information eller genererar förslag med hjälp av statistiska modeller eller maskininlärning.

Exempel på användning kan vara:

• analys av röntgenbilder

• förslag till journaltext

• automatiserad patientkommunikation

• stöd till behandlingsplanering

• analys av klinikdata

I många fall fungerar sådana system som stödverktyg. De genererar analyser eller förslag som ingår i klinikerns bedömningsunderlag.

När KI ingår i sådana processer kan tekniken också påverka händelser där något inte fungerar som förväntat. Därför kan det vara relevant att registrera teknikens roll i klinikens avvikssystem. 

Var uppstår ansvarsfördelningen?

Ansvarsfördelningen uppstår när det är oklart vilken roll ett KI-system spelade i en händelse.

Detta kan till exempel vara när:

• ett system markerar fynd som inte finns

• ett system förbiser förhållanden som borde ha identifierats

• KI genererar text som innehåller fel

• systemet påverkar hur information tolkas eller prioriteras

Utan tillräcklig registrering kan det vara svårt att förstå:

• om KI faktiskt påverkade händelsen

• hur systemet användes i situationen

• om liknande händelser kan uppstå igen

Registrering i avvikssystemet gör det möjligt att analysera sådana situationer mer systematiskt.

Vanliga missuppfattningar

«KI behöver inte registreras särskilt i avvikssystemet»

Om tekniken inte registreras som en del av händelsen kan det vara svårt att identifiera mönster över tid.

Därför kan det vara användbart att synliggöra när KI har varit involverad.

«Endast tekniska fel i systemet bör registreras»

Avvikelser kan också uppstå eftersom systemet används i situationer det inte är utvecklat för.

Därför kan både teknologiska och organisatoriska förhållanden vara relevanta.

«Avvikelser betyder att KI-systemet inte fungerar»

En avvikelse kan bero på flera förhållanden.

Registrering handlar först och främst om att förstå vad som hände, inte om att dra slutsatser om orsaken.

«Detta är leverantörens ansvar»

Leverantören kan följa upp tekniska förhållanden i systemet.

Men verksamheten måste själv ha översikt över hur tekniken påverkar arbetet i praktiken.

Vad bör vara på plats i praktiken?

När KI är involverad i en händelse kan vissa typer av information vara särskilt relevanta att registrera i avvikssystemet.

Vilket system som var involverat

Det bör framgå vilket KI-system eller vilken funktion som användes i situationen.

Detta gör det möjligt att identifiera om liknande händelser uppstår i samma system.

Vad systemet faktiskt gjorde

Det kan vara nyttigt att registrera:

• vilken analys eller rekommendation systemet gav

• hur resultatet presenterades

• hur systemet användes i situationen

Detta bidrar till bättre förståelse av händelsen.

Hur resultatet bedömdes

Det bör också framgå hur yrkespersoner bedömde systemets output.

Detta kan till exempel vara:

• om resultatet togs till grund

• om det överstyrdes

• om det skapade osäkerhet i bedömningen

Kontext för händelsen

Situationen systemet användes i kan vara viktig för att förstå vad som hände.

Detta kan inkludera:

• vilken typ av uppgift systemet användes till

• var i arbetsprocessen det ingick

• vilka andra faktorer som påverkade händelsen

Eventuell uppföljning

Avvikssystemet bör också kunna registrera vilka åtgärder som övervägs eller genomförs efter händelsen.

Detta kan till exempel vara:

• dialog med leverantör

• justering av användning

• ökad uppmärksamhet kring systemets begränsningar

Acteras roll i detta

Actera är etablerat för att ge tandvårdsverksamheter struktur kring ansvarsfull användning av KI.

Vi arbetar inte med teknologiutveckling eller kliniska beslut, utan med styrningsstruktur, ansvarslinjer och dokumentation – så att KI kan användas på ett säkert, förutsägbart och kontrollerbart sätt.

Avslutande reflektion

När KI tas i bruk i klinikens arbete blir tekniken också en del av händelser som uppstår i praktiken.

Genom att registrera relevant information om KI i avvikssystem kan verksamheter bättre förstå hur tekniken påverkar arbetet.

Detta ger bättre grund för lärande, förbättring och mer ansvarsfull användning av artificiell intelligens i klinisk praxis.