Hva betyr «forklarbarhet» ved bruk av KI i tannklinikk?

«Forklarbarhet» er et ord mange bruker – men i klinisk praksis betyr det ikke at man må kunne forklare hele algoritmen. Det betyr at klinikken (og leverandøren) kan gi en forståelig, etterprøvbar begrunnelse for:

• hva systemet gjør,

• hva output betyr,

• hva begrensningene er, og

• hvordan mennesker skal bruke det forsvarlig.

NIST beskriver forklarbarhet og fortolkbarhet (interpretability) som egenskaper som hjelper ulike roller å forstå mekanismer og betydningen av output, og som støtter dokumentasjon, overvåkning og styring. 

Avgrensning: Dette er en praktisk faglig forklaring, ikke juridisk rådgivning.

1) Forklarbarhet er alltid «forklaring til noen» – i en situasjon

Forklarbarhet er kontekst. Det som er “nok” forklaring for en tannlege i behandling, er noe annet enn det som er “nok” for:

• en pasient,

• en klinikkleder,

• kvalitets-/risikoansvarlig,

• eller et tilsyn.

Derfor bør forklarbarhet behandles som krav til kommunikasjon og dokumentasjon, ikke som en teknisk egenskap alene.

2) Tre nivåer av forklaring klinikken faktisk trenger

Nivå A: Systemforklaring (hva er dette?)

Dette er «manualen i praksis»:

• hva verktøyet er ment for (tiltenkt bruk),

• hvilke data det bruker (f.eks. røntgen, foto, journal),

• hvilken type output det gir (markering, score, forslag),

• kjente begrensninger og typiske feilkilder.

For høyrisiko-systemer legger EU AI Act vekt på at systemet skal være tilstrekkelig transparent til at de som bruker det kan tolke output og bruke det riktig. 

Nivå B: Outputforklaring (hva betyr dette svaret?)

Når KI gir en markering eller anbefaling, må klinikken kunne si:

• hva output betyr i klinisk kontekst,

• hva som kan være usikkert,

• og hva som er neste menneskelige kontrollpunkt.

Dette handler mindre om “hvorfor modellen tenkte slik”, og mer om hvordan output skal brukes forsvarlig (og når den ikke skal brukes).

Nivå C: Prosessforklaring (hvem har ansvar og hvordan brukes det?)

Dette er styring:

• hvem som kan bruke verktøyet,

• opplæring/kompetansekrav,

• hvordan avvik håndteres (når KI tar feil),

• hvordan man følger med over tid (drift, oppdateringer, endret ytelse).

OECD peker på transparens og forklarbarhet som prinsipper som skal gi “meningsfull informasjon” tilpasset konteksten. 

3) Forklarbarhet i tannklinikk: pasient, ledelse, tilsyn

Overfor pasient

Pasienten trenger normalt ikke en teknisk forklaring. Men de har krav på forståelig informasjon om:

• at KI brukes som støtte (hvis relevant),

• hva den brukes til,

• og at helsepersonell fortsatt tar beslutningen.

Hvis KI i praksis får en rolle som kan oppleves avgjørende, bør klinikken ha en standardtekst som forklarer bruken nøkternt (uten markedsføring).

Overfor ledelse og kvalitet/risko

Ledelse trenger å kunne svare på:

• hvor i pasientforløpet KI påvirker vurderinger,

• hva vi gjør når KI bommer,

• hvilken dokumentasjon vi har fra leverandør,

• hvordan vi sikrer menneskelig kontroll.

Her er forklarbarhet tett koblet til internkontroll: “kan vi vise at dette er under styring?”

Overfor tilsyn / revisjon

Tilsyn vil typisk se etter sporbarhet og etterprøvbarhet:

• hvilke verktøy brukes,

• til hvilke formål,

• hvilke instrukser/opplæring finnes,

• og hvordan klinikken avdekker og håndterer risiko.

Der KI inngår i automatiserte vurderinger, blir transparenskrav i personvernregelverk ofte relevant (f.eks. regler om automatiserte avgjørelser og informasjon om behandlingen). 

4) Praktiske eksempler: hva er “forklarbart nok”?

Eksempel 1: KI markerer «mulig karies» på røntgen

Forklarbart nok kan være:

• hva markeringen betyr (indikasjon, ikke diagnose),

• at falske positive/negative forekommer,

• at tannlegen vurderer funnet mot klinikk, anamnese og øvrige bilder,

• og hva som dokumenteres i journal (f.eks. “KI-markering vurdert, ikke lagt til grunn alene”).

Eksempel 2: KI foreslår behandlingsprioritet/triage

Da bør klinikken kunne forklare:

• hvilke faktorer som typisk påvirker prioriteringen (hvis kjent),

• hvilke begrensninger som gjelder,

• og hvordan menneskelig overstyring skjer.

I slike tilfeller blir prosessforklaringen (ansvar og kontroll) ofte viktigere enn en “modellforklaring”.

5) En enkel sjekkliste klinikken kan bruke

Når dere vurderer et KI-verktøy, bør dere kunne svare skriftlig på:

1. Bruksformål: Hva er verktøyet ment brukt til – og ikke brukt til?

2. Output: Hva kommer ut, og hvordan skal det tolkes i klinisk praksis?

3. Begrensninger: Vanlige feilkilder, situasjoner der verktøyet ikke bør brukes.

4. Menneskelig kontroll: Hvem vurderer output, og hva er “stoppunktene”?

5. Dokumentasjon: Hvilken leverandørdokumentasjon finnes, og hvor ligger den?

6. Oppfølging: Hvordan fanger vi opp avvik og endringer over tid?

Dette er forklarbarhet operasjonalisert: forståelig + etterprøvbar + styrbar.

Avslutning

Forklarbarhet i tannhelse handler sjelden om å “åpne den svarte boksen”. Det handler om å kunne vise – med nøktern dokumentasjon og tydelige rutiner – at KI brukes som støtte på en måte som er forståelig for mennesker, og som kan etterprøves.