KI-verktøy i tannklinikk: hvordan evaluere om det fortsatt er forsvarlig

Ingress

KI-verktøy som først fungerer godt i en tannklinikk, kan endre karakter over tid. Oppdateringer, nye funksjoner, endret datagrunnlag og nye bruksmønstre kan påvirke både resultater og risiko.

I klinikkdrift oppstår derfor et behov for periodisk vurdering: Ikke bare om verktøyet “fungerer”, men om det fortsatt er forsvarlig i den konkrete bruken det inngår i.

Denne artikkelen forklarer hvordan ledelse og fagansvarlige kan evaluere om et KI-verktøy fortsatt er forsvarlig, og hvilken dokumentasjon og kontroll som typisk bør inngå i en slik vurdering. 

Hva menes med KI-bruk i tannhelse?

KI-bruk i tannhelse omfatter digitale systemer som analyserer data eller genererer forslag ved hjelp av statistiske eller maskinlæringsbaserte metoder. Det kan være kliniske funksjoner (for eksempel bildeanalyse), administrative støttefunksjoner (for eksempel prioriterings- eller planleggingsstøtte) eller dokumentasjonsstøtte (for eksempel tekstforslag i journal).

Et viktig poeng i driftsfasen er at KI ofte blir en del av “normalen”: Den inngår i arbeidsflyten, påvirker hvordan informasjon presenteres, og kan dermed påvirke vurderinger indirekte. Det er nettopp derfor forsvarlighet må forstås som noe som må holdes ved like – ikke avklares én gang. 

Hvor oppstår ansvarsspørsmålet?

Ansvarsspørsmålet oppstår når klinikken fortsetter å bruke et KI-verktøy som:

• har endret seg (oppdatering, ny modell, ny funksjon)

• brukes annerledes enn opprinnelig forutsatt (nye oppgaver, flere brukere, nye prosesser)

• leverer resultater som gradvis endrer seg (stabilitet/drift)

• påvirker dokumentasjon eller beslutningsgrunnlag uten at dette er tydelig styrt

I slike situasjoner er det sjelden tilstrekkelig å vise til at verktøyet “en gang ble vurdert”. Virksomheten må kunne forklare hvordan den følger opp at bruken fortsatt er kontrollert, forstått og etterprøvbar – og at menneskelig vurdering fortsatt er reell. 

Vanlige misforståelser

«Hvis verktøyet var forsvarlig ved innføring, er det forsvarlig videre»

KI-verktøy kan endre seg i drift, både teknisk og funksjonelt. Oppdateringer og endringer i kontekst kan påvirke anbefalinger og risiko, selv om selve arbeidsoppgaven virker den samme.

«Forsvarlighet kan vurderes som en ren IT- eller leverandørsak»

Leverandøren kan eie den tekniske utviklingen, men klinikken eier bruken i praksis. Forsvarlighet handler derfor også om arbeidsprosesser, opplæring, kontroll og rolleavklaringer – ikke bare programvare.

«Det holder å ha en policy»

En generell KI-policy er sjelden nok til å vise at et konkret verktøy fortsatt brukes forsvarlig. Tilsvarende er det vanskelig å evaluere forsvarlighet uten å knytte vurderingen til faktiske prosesser, faktisk bruk og konkrete kontrollmekanismer. 

«Overvåking betyr at man må forstå algoritmen i detalj»

I klinisk virksomhet handler evaluering ofte mer om å forstå effekten i praksis: Når brukes verktøyet, til hva, av hvem, med hvilke feilmodi, og med hvilken menneskelig kontroll. Teknisk dybde kan være relevant, men er ikke alltid nødvendig for å gjøre en praktisk forsvarlighetsvurdering.

Hva bør være på plass i praksis?

En vurdering av om et KI-verktøy fortsatt er forsvarlig bør være enkel nok til å gjennomføres jevnlig, men konkret nok til å gi reell kontroll. Under er et praktisk “minimumsrammeverk” klinikker typisk kan bruke.

1) Avklar om bruken har endret seg

Start med det mest grunnleggende: Brukes verktøyet i dag på samme måte som da det ble tatt i bruk?

Dokumenter kort:

• hvilke oppgaver verktøyet støtter nå

• hvilke roller som bruker det (inkludert eventuelle nye brukergrupper)

• hvilke prosesser verktøyet er blitt en del av

• om verktøyet nå påvirker beslutningsgrunnlag mer direkte enn før

En slik avklaring fanger ofte opp “scope creep” – at et verktøy gradvis får større betydning enn planlagt.

2) Oppdater oversikt og systembeskrivelse

Forsvarlighet i drift forutsetter at klinikken har en oppdatert oversikt over KI-bruken, og en forståelig systembeskrivelse av hvordan verktøyet inngår i praksis. Dette er ikke primært et teknisk dokument, men en beskrivelse av kontekst, rolle, dataflyt på høyt nivå og kontrollpunkter. 

3) Se etter tegn på endret ytelse eller stabilitet

Et KI-verktøy kan gi “samme type svar”, men likevel endre kvalitet over tid. Klinikken bør derfor ha en enkel måte å oppdage endringer på, for eksempel gjennom:

• faste stikkprøver av output (faglig kvalitetssjekk)

• sammenligning med manuelle vurderinger i utvalgte tilfeller

• oppfølging av typiske feilmønstre (hva går igjen når det blir feil?)

Poenget er ikke å bygge et forskningsopplegg, men å ha et praktisk signalapparat som fanger opp avvik før de blir normalisert.

4) Vurder om menneskelig kontroll fortsatt er reell

Menneskelig kontroll er ikke bare at en person “ser på” et forslag, men at fagpersoner faktisk:

• forstår begrensninger og typiske feiltyper

• oppdager når output virker urimelig

• kan overstyre og velger å overstyre når det er nødvendig

I evalueringen bør klinikken derfor dokumentere kort:

• hvor i prosessen fagperson gjør vurderingen

• hva som er minimumskrav til kontroll før output brukes (for eksempel før journaltekst blir stående)

• hvordan overstyring håndteres i praksis (inkludert at det er sosialt og operasjonelt “lov” å avvike fra verktøyet)

Dette knytter forsvarlighet til faktisk arbeidsmåte – ikke intensjon. 

5) Avklar endringer fra leverandør

Hvis verktøyet er oppdatert, bør klinikken kunne svare på:

• hva som er endret (funksjon, modell, datagrunnlag, brukergrensesnitt)

• om endringen påvirker bruksområde, risiko eller arbeidsprosess

• om det finnes endringsnotater, versjonslogg eller oppdatert leverandørdokumentasjon

Dette handler om styrbarhet: Hvis klinikken ikke vet når eller hvordan et verktøy endrer seg, blir forsvarlighet vanskelig å etterprøve.

6) Revider risikovurderingen – men hold den praktisk

I mange klinikker er det tilstrekkelig å revidere risikovurderingen lett og målrettet ved:

• nye bruksområder

• vesentlige oppdateringer

• funn av gjentakende avvik

• endringer i dataflyt eller integrasjoner

Vurderingen bør beskrive realistiske feilsituasjoner (hva kan gå galt i praksis) og hvilke tiltak som faktisk reduserer risiko (faglig kontroll, avgrensninger, opplæring, logging/oppfølging). 

7) Dokumenter konklusjonen og beslutningen

For å gjøre evalueringen nyttig over tid bør den ende i en kort, tydelig konklusjon:

• Er verktøyet fortsatt forsvarlig i dagens bruk?

• Kan det brukes videre uendret, eller må bruken avgrenses?

• Kreves det tiltak (opplæring, kontrollpunkt, endret prosess, dialog med leverandør)?

• Når skal neste vurdering gjøres, og hva skal trigge en ekstra vurdering?

Dette skaper sporbarhet og ledelsesmessig forankring uten å gjøre arbeidet tungt.

Acteras rolle i dette

Actera er etablert for å gi tannhelsevirksomheter struktur rundt ansvarlig bruk av KI.

Vi jobber ikke med teknologiutvikling eller kliniske beslutninger, men med styringsstruktur, ansvarslinjer og dokumentasjon – slik at KI kan brukes på en trygg, forutsigbar og etterprøvbar måte.

Avsluttende betraktning

Forsvarlighet for KI-verktøy i tannklinikk er ikke en engangsavklaring, men en driftsdisiplin. Når verktøy endrer seg, eller når bruken endrer seg, kan risiko og påvirkning også endre seg.

En god evaluering kjennetegnes av at den er konkret, knyttet til faktisk bruk, og etterlater sporbar dokumentasjon av hva klinikken har vurdert – og hvorfor.

Slik blir KI mindre “svart boks” i drift, og mer en styrbar del av klinikkens arbeid.