Avvikssystemer og KI: hva må registreres

Ingress

Kunstig intelligens blir en del av stadig flere systemer i tannhelsetjenesten. Teknologien kan bidra til analyse av røntgenbilder, generering av journaltekst eller støtte i administrative prosesser.

Når KI inngår i klinikkens arbeidsprosesser, kan den også bli en del av situasjoner der avvik oppstår. I slike tilfeller blir det viktig å forstå hvilken rolle teknologien spilte.

Denne artikkelen forklarer hvordan avvikssystemer kan håndtere hendelser der KI er involvert, og hvilken informasjon som bør registreres for å gjøre hendelser forståelige i ettertid.

Hva menes med KI-bruk i tannhelse?

KI i tannhelse omfatter digitale systemer som analyserer informasjon eller genererer forslag ved hjelp av statistiske modeller eller maskinlæring.

Eksempler på bruk kan være:

• analyse av røntgenbilder

• forslag til journaltekst

• automatisert pasientkommunikasjon

• støtte til behandlingsplanlegging

• analyse av klinikkdata

I mange tilfeller fungerer slike systemer som støtteverktøy. De genererer analyser eller forslag som inngår i klinikerens vurderingsgrunnlag.

Når KI inngår i slike prosesser, kan teknologien også påvirke hendelser der noe ikke fungerer som forventet. Derfor kan det være relevant å registrere teknologiens rolle i klinikkens avvikssystem. 

Hvor oppstår ansvarsspørsmålet?

Ansvarsspørsmål oppstår når det er uklart hvilken rolle et KI-system spilte i en hendelse.

Dette kan for eksempel være når:

• et system markerer funn som ikke er til stede

• et system overser forhold som burde vært identifisert

• KI genererer tekst som inneholder feil

• systemet påvirker hvordan informasjon tolkes eller prioriteres

Uten tilstrekkelig registrering kan det være vanskelig å forstå:

• om KI faktisk påvirket hendelsen

• hvordan systemet ble brukt i situasjonen

• om lignende hendelser kan oppstå igjen

Registrering i avvikssystemet gjør det mulig å analysere slike situasjoner mer systematisk.

Vanlige misforståelser

«KI trenger ikke registreres særskilt i avvikssystemet»

Hvis teknologien ikke registreres som en del av hendelsen, kan det være vanskelig å identifisere mønstre over tid.

Derfor kan det være nyttig å synliggjøre når KI har vært involvert.

«Bare tekniske feil i systemet bør registreres»

Avvik kan også oppstå fordi systemet brukes i situasjoner det ikke er utviklet for.

Derfor kan både teknologiske og organisatoriske forhold være relevante.

«Avvik betyr at KI-systemet ikke fungerer»

Et avvik kan skyldes flere forhold.

Registrering handler først og fremst om å forstå hva som skjedde, ikke om å konkludere med årsaken.

«Dette er leverandørens ansvar»

Leverandøren kan følge opp tekniske forhold i systemet.

Men virksomheten må selv ha oversikt over hvordan teknologien påvirker arbeid i praksis.

Hva bør være på plass i praksis?

Når KI er involvert i en hendelse, kan noen typer informasjon være særlig relevante å registrere i avvikssystemet.

Hvilket system som var involvert

Det bør fremgå hvilket KI-system eller hvilken funksjon som ble brukt i situasjonen.

Dette gjør det mulig å identifisere om lignende hendelser oppstår i samme system.

Hva systemet faktisk gjorde

Det kan være nyttig å registrere:

• hvilken analyse eller anbefaling systemet ga

• hvordan resultatet ble presentert

• hvordan systemet ble brukt i situasjonen

Dette bidrar til bedre forståelse av hendelsen.

Hvordan resultatet ble vurdert

Det bør også fremgå hvordan fagpersoner vurderte systemets output.

Dette kan for eksempel være:

• om resultatet ble lagt til grunn

• om det ble overstyrt

• om det skapte usikkerhet i vurderingen

Kontekst for hendelsen

Situasjonen systemet ble brukt i kan være viktig for å forstå hva som skjedde.

Dette kan inkludere:

• hvilken type oppgave systemet ble brukt til

• hvor i arbeidsprosessen det inngikk

• hvilke andre faktorer som påvirket hendelsen

Eventuell oppfølging

Avvikssystemet bør også kunne registrere hvilke tiltak som vurderes eller gjennomføres etter hendelsen.

Dette kan for eksempel være:

• dialog med leverandør

• justering av bruk

• økt oppmerksomhet rundt systemets begrensninger

Acteras rolle i dette

Actera er etablert for å gi tannhelsevirksomheter struktur rundt ansvarlig bruk av KI.

Vi jobber ikke med teknologiutvikling eller kliniske beslutninger, men med styringsstruktur, ansvarslinjer og dokumentasjon – slik at KI kan brukes på en trygg, forutsigbar og etterprøvbar måte.

Avsluttende betraktning

Når KI tas i bruk i klinikkens arbeid, blir teknologien også en del av hendelser som oppstår i praksis.

Ved å registrere relevant informasjon om KI i avvikssystemer kan virksomheter bedre forstå hvordan teknologien påvirker arbeidet.

Dette gir bedre grunnlag for læring, forbedring og mer ansvarlig bruk av kunstig intelligens i klinisk praksis.