KI og afvigelseshåndtering i tandpleje

Når KI er involveret i en hændelse, bliver “afvigelse” ofte uklart: Var det en teknisk fejl? En fejlbrug? En leverandørændring? Et brud på persondata? Eller en patientsikkerhedshændelse?

En praktisk måde at tænke på er dette:

KI-relaterede afvigelser er ikke én afvigelsestype. Det er en hændelse, hvor KI (eller KI-brug) er en del af årsagskæden, og derfor skal håndteres gennem klinikkens eksisterende afvigelsessystem, men med nogle ekstra spørgsmål og dokumentationskrav.

1) Hvad er en KI-relateret afvigelse?

En KI-relateret afvigelse kan være:

• Forkert output (f.eks. forkert markering på røntgen, forkert risikoscore, forkert tekstforslag, der bruges ukritisk)

• Forkert brug (KI brugt uden for tilsigtet anvendelse eller uden menneskelig kontrolpunkt)

• Uautoriseret brug (“shadow AI”) (medarbejdere bruger værktøjer uden godkendelse)

• Leverandør-/modelændring (opdatering, der ændrer adfærd/præstation)

• Datahåndtering, der afviger (patientoplysninger delt i ikke-godkendt tjeneste eller logføring/lagring, der ikke er afklaret)

NIST AI RMF understreger, at AI-risici skal styres kontinuerligt, inklusive at identificere og følge op på “emergent risks” i drift – så risiko kan ændre sig, efter at løsningen er taget i brug. 

2) Tre “spor” du altid bør vurdere samtidig

Når noget går galt med KI, vurder hændelsen i tre spor (ofte overlapper de):

Spor A: Patientsikkerhed og faglig kvalitet

• Påvirkede KI en klinisk vurdering eller et behandlingsvalg?

• Skete der en fejl eller en næsten-fejl (“næsten-hændelse”)?

• Var menneskelig kontrol tydelig og faktisk brugt?

Spor B: Persondata og informationssikkerhed

• Indeholder hændelsen brud på persondatasikkerheden (f.eks. deling/lækage/adgang)?

• Hvis ja: overvej anmeldelsespligt. Datatilsynet beskriver, at brud normalt skal anmeldes inden 72 timer, og at man kan anmelde trinvist, hvis ikke alt er klart. 

• Sundhedsstyrelsens “Normen” peger på samme 72-timers krav, når afvigelsen er et brud på persondatasikkerheden. 

Spor C: Styring, leverandør og efterprøvbarhed

• Var værktøjet godkendt, dokumenteret og brugt i overensstemmelse med interne rammer?

• Har leverandøren ændret noget (model, dataflow, vilkår), uden at klinikken har fanget det op?

• Findes der tilstrækkelig log/dokumentation til at forstå hændelsen?

3) En praktisk proces: “KI-afvigelse” i 6 trin

Dette kan køre som en enkel playbook i klinikken.

Trin 1: Stands og sikr

• Stop yderligere brug i den konkrete situation.

• Sikre nødvendig dokumentation: skærmbilleder, tidspunkt, hvilken funktion der blev brugt, hvilken data der blev indtastet (uden at sprede mere patientdata).

Trin 2: Triage (hvor alvorligt er dette?)

Klassificer hurtigt:

• Patientsikkerhed: skade / potentiel skade / næsten-hændelse / “kun kvalitetsafvigelse”

• Persondata: indeholder dette en sikkerhedsbrud? (ja/nej/uklart)

• Omfang: én patient, flere patienter, systematisk?

Trin 3: Afgræns og midlertidige tiltag

• Deaktiver funktion / fjern adgang / stop integration efter behov.

• Informer intern rolle (faglig ansvarlig, kvalitet/risiko, IT/persondata) efter fast rutine.

Trin 4: Vurder anmeldelses- og varslingsbehov

• Ved muligt brud på persondata: overvej 72-timers anmeldelsesregel og dokumenter vurderingen. 

• Ved cyber-/IKT-hændelser: NSM anbefaler grundprincipper og struktureret hændelseshåndtering som del af virksomhedens sikkerhedsstyring. 

Trin 5: Årsagsanalyse (hvad var “svigtet” egentlig?)

For KI-hændelser er det ofte nyttigt at skelne:

• Teknisk svigt (fejl i systemet)

• Brugs-/procesvigt (manglende kontrolpunkt, uklare rutiner)

• Kompetencevigt (fejlfortolkning af output)

• Ændringssvigt (opdatering uden kontrol)

• Styringssvigt (uautoriseret værktøj / manglende godkendelsesproces)

NIST AI RMF Playbook er lavet netop for at operationalisere styring og tiltag på tværs af “Govern–Map–Measure–Manage”, altså fra governance til håndtering i drift. 

Trin 6: Læring og forebyggelse (kontrolleret iteration)

• Opdater politik, træning eller værktøjslisten.

• Indsæt et kontrolpunkt i arbejdsgangen (f.eks. “KI-output skal altid vurderes mod X før beslutning”).

• Journalfør ændringen i ændringslog (dato, hvad, hvorfor, forventet effekt, hvornår evalueres).

4) Hvad bør dokumenteres i afvigelsen? (minimum)

For at en KI-afvigelse skal være efterprøvbar, holder det sjældent med “KI tog fejl”.

Minimumsfelter i afvigelsesskema:

• Hvilket værktøj/funktion (navn, version hvis kendt)

• Anvendelsesformål (hvad var hensigten i situationen?)

• Input-type (røntgen/foto/tekst/journaluddrag – uden at kopiere mere end nødvendigt)

• Output (hvad blev vist/foreslået?)

• Menneskelig kontrol: hvad gjorde behandler før beslutning?

• Konsekvens (patient, kvalitet, tid, fejlinformation)

• Dataflow: blev patientoplysninger delt med ekstern tjeneste?

• Midlertidige tiltag og hvem der blev varslet

• Vurdering af anmeldelsespligt (og begrundelse)

5) Typiske “mønstre” der giver gentagne KI-afvigelser

• Uklare rammer for brug (folk gætter, hvad der er tilladt)

• Ingen defineret fortolkning af output (“score” uden klinisk brugskontekst)

• Shadow AI som omgår leverandørvurdering og aftaler

• Opdateringer uden kontrol (præstation ændrer sig uden, at nogen følger med)

• For lidt træning (især om begrænsninger og fejlkilder)

Afslutning

God KI-afvigelseshåndtering handler ikke om at “straffe teknologi”. Det handler om at gøre KI-hændelser klassificerbare, dokumenterbare og lærbare – så klinikken kan vise kontrol over patientsikkerhed, persondata og drift.