Human oversight i tannhelse: Hvordan operasjonaliseres kravet om menneskelig kontroll?

1. Kontekstualiserende innledning

EU AI Act stiller krav om menneskelig tilsyn (human oversight) ved bruk av høyrisikosystemer. I helsesektoren er dette særlig relevant når KI påvirker diagnostiske vurderinger, behandlingsvalg eller pasientkommunikasjon.

Begrepet human oversight kan fremstå intuitivt: Mennesket skal ha kontroll. I praksis er det imidlertid ofte uklart hva dette innebærer organisatorisk.

For tannklinikker er spørsmålet ikke om mennesker er involvert, men hvordan kontrollen er strukturert, definert og dokumentert.

Human oversight må forstås som en etablert praksis – ikke som en forutsetning man tar for gitt.

2. Operasjonell implikasjon

Dersom et KI-system inngår i klinisk eller administrativ beslutningsstøtte, må virksomheten kunne redegjøre for:

• Hvem som har beslutningsmyndighet.

• Når KI-resultater skal vurderes kritisk.

• Hvordan overstyring skjer.

• Hvordan avvik håndteres.

Human oversight er ikke en intensjon. Det er en struktur.

For ledelsen innebærer dette at kontrollmekanismer må være eksplisitt definert før systemet tas i bruk.

3. Analytiske hovedpunkter

3.1 Normativ forståelse av menneskelig kontroll

Menneskelig kontroll innebærer at:

• KI ikke tar selvstendige kliniske beslutninger.

• Autorisert helsepersonell vurderer og godkjenner resultater.

• Beslutningsansvar ikke overføres til systemet.

• Kritisk vurdering forblir aktiv.

Dette gjelder også når systemet har høy presisjon. Effektivitet fritar ikke fra vurdering.

Kontroll forutsetter både kompetanse og myndighet.

3.2 Terskler for overstyring

Human oversight må inkludere definerte situasjoner der overstyring er påkrevd.

Dette kan omfatte:

• Uventede eller avvikende resultater.

• Manglende samsvar mellom klinisk bilde og KI-analyse.

• Systemoppdateringer.

• Nye eller utestede bruksområder.

Dersom terskler for overstyring ikke er definert, risikerer man passiv tillit til systemet.

3.3 Beslutningshierarki og rolleavklaring

For at menneskelig kontroll skal være reell, må beslutningshierarkiet være tydelig.

Dette innebærer:

• Hvem har klinisk beslutningsmyndighet?

• Hvem kan godkjenne eller avvise KI-forslag?

• Hvem rapporterer avvik?

• Hvem følger opp systematiske feil?

Uten rolleavklaring kan kontroll bli en formell formulering uten praktisk effekt.

3.4 Dokumentasjon av avvik og korrigering

Human oversight må kunne etterprøves.

Dette innebærer:

• Dokumentasjon av avvik mellom KI-forslag og klinisk beslutning.

• Registrering av feil eller nesten-feil.

• Evaluering av mønstre over tid.

• Justering av praksis ved behov.

Kontroll som ikke dokumenteres, kan vanskelig påvises i etterkant.

3.5 Skillet mellom kontroll og passiv bruk

I praksis kan KI integreres sømløst i arbeidsflyten. Risikoen er at systemets anbefalinger aksepteres uten eksplisitt vurdering.

Human oversight forutsetter aktiv stillingtagen.

Det må være legitimt å overstyre.
Det må være forventet å vurdere.
Det må være mulig å dokumentere avvik.

Teknologisk integrasjon må ikke føre til ansvarsmessig frakobling.

4. Intern avklaringsmatrise

Følgende forhold bør være eksplisitt definert internt:

1. Hvem har klinisk beslutningsmyndighet ved bruk av KI?

2. Når skal KI-resultater vurderes særskilt kritisk?

3. Hva er definerte terskler for overstyring?

4. Hvordan dokumenteres avvik fra KI-forslag?

5. Hvordan håndteres systematiske feil?

6. Hvordan evalueres systemets ytelse over tid?

7. Hvem har ansvar for oppfølging av human oversight-strukturen?

8. Hvordan sikres at ansatte forstår sitt ansvar?

Dersom kontrollen ikke kan beskrives konkret, er den ikke tilstrekkelig operasjonalisert.

5. Avsluttende syntese

Human oversight er ikke et tilleggskrav. Det er en forutsetning for forsvarlig KI-bruk i tannhelse.

Menneskelig kontroll innebærer:

• Reell beslutningsmyndighet.

• Definerte overstyringsmekanismer.

• Dokumentert praksis.

Når kontroll er strukturert, styrkes både pasientsikkerhet og organisatorisk robusthet.

Når kontroll tas for gitt, oppstår ansvarsglidning.

Menneskelig vurdering må ikke bare være til stede. Den må være definert.