Menneskelig overvågning i tandplejen: Hvordan operationaliseres kravet om menneskelig kontrol?

1. Kontekstualiserende indledning

EU AI Act stiller krav om menneskelig overvågning (human oversight) ved brug af højrisikosystemer. I sundhedssektoren er dette særligt relevant, når KI påvirker diagnostiske vurderinger, behandlingsvalg eller patientkommunikation.

Begrebet human oversight kan forekomme intuitivt: Mennesket skal have kontrol. I praksis er det dog ofte uklart, hvad dette indebærer organisatorisk.

For tandklinikker er spørgsmålet ikke om mennesker er involveret, men hvordan kontrollen er struktureret, defineret og dokumenteret.

Human oversight skal forstås som en etableret praksis – ikke som en forudsætning, man tager for givet.

2. Operationelle implikationer

Hvis et KI-system indgår i klinisk eller administrativ beslutningsstøtte, skal virksomheden kunne redegøre for:

• Hvem der har beslutningsmyndighed.

• Hvornår KI-resultater skal vurderes kritisk.

• Hvordan overstyring finder sted.

• Hvordan afvigelser håndteres.

Human oversight er ikke en intention. Det er en struktur.

For ledelsen betyder dette, at kontrolmekanismer skal være eksplicit defineret, før systemet tages i brug.

3. Analytiske hovedpunkter

3.1 Normativ forståelse af menneskelig kontrol

Menneskelig kontrol indebærer, at:

• KI ikke træffer selvstændige kliniske beslutninger.

• Autoriseret sundhedspersonale vurderer og godkender resultater.

• Beslutningsansvar ikke overføres til systemet.

• Kritisk vurdering forbliver aktiv.

Dette gælder også, når systemet har høj præcision. Effektivitet fritager ikke fra vurdering.

Kontrol forudsætter både kompetence og myndighed.

3.2 Tærskler for overstyring

Human oversight skal inkludere definerede situationer, hvor overstyring er påkrævet.

Dette kan omfatte:

• Uventede eller afvigende resultater.

• Manglende overensstemmelse mellem det kliniske billede og KI-analysen.

• Systemopdateringer.

• Nye eller utestede anvendelsesområder.

Hvis tærskler for overstyring ikke er defineret, risikerer man passiv tillid til systemet.

3.3 Beslutningshierarki og rolleafklaring

For at menneskelig kontrol kan være reel, skal beslutningshierarkiet være tydeligt.

Dette indebærer:

• Hvem har klinisk beslutningsmyndighed?

• Hvem kan godkende eller afvise KI-forslag?

• Hvem rapporterer afvigelser?

• Hvem følger op på systematiske fejl?

Uden rolleafklaring kan kontrol blive en formel formulering uden praktisk effekt.

3.4 Dokumentation af afvigelser og korrektion

Human oversight skal kunne efterprøves.

Dette indebærer:

• Dokumentation af afvigelser mellem KI-forslag og klinisk beslutning.

• Registrering af fejl eller næsten-fejl.

• Evaluering af mønstre over tid.

• Justering af praksis ved behov.

Kontrol, der ikke dokumenteres, kan være svær at påvise i efterkant.

3.5 Skelnen mellem kontrol og passiv brug

I praksis kan KI integreres problemfrit i arbejdsgangen. Risikoen er, at systemets anbefalinger accepteres uden eksplicit vurdering.

Human oversight forudsætter aktiv stillingtagen.

Det skal være legitimt at overstyre.
Det skal forventes at vurdere.
Det skal være muligt at dokumentere afvigelser.

Teknologisk integration må ikke føre til ansvarsmæssig frakobling.

4. Intern afklaringsmatrice

Følgende forhold bør være eksplicit defineret internt:

1. Hvem har klinisk beslutningsmyndighed ved brug af KI?

2. Hvornår skal KI-resultater vurderes særligt kritisk?

3. Hvad er definerede tærskler for overstyring?

4. Hvordan dokumenteres afvigelser fra KI-forslag?

5. Hvordan håndteres systematiske fejl?

6. Hvordan evalueres systemets ydeevne over tid?

7. Hvem har ansvar for opfølgning af human oversight-strukturen?

8. Hvordan sikres det, at medarbejdere forstår deres ansvar?

Hvis kontrollen ikke kan beskrives konkret, er den ikke tilstrækkeligt operationaliseret.

5. Afsluttende syntese

Human oversight er ikke et tillægskrav. Det er en forudsætning for forsvarlig brug af KI i tandplejen.

Menneskelig kontrol indebærer:

• Reel beslutningsmyndighed.

• Definerede overstyringsmekanismer.

• Dokumenteret praksis.

Når kontrol er struktureret, styrkes både patientsikkerhed og organisatorisk robusthed.

Når kontrol tages for givet, opstår ansvarsglidning.

Menneskelig vurdering må ikke kun være til stede. Den skal være defineret.