Tilsyn og KI-brug: Hvilken dokumentation skal tandklinikken kunne fremlægge?

1. Kontekstualiserende indledning

Brug af kunstig intelligens i tandpleje indgår i virksomhedens samlede ansvar for patientsikkerhed, journalføring og intern kontrol.

EU AI Act skærper kravene til dokumentation og tydeliggør deployer-rollen. Samtidig vil eksisterende tilsynsmyndigheder kunne stille spørgsmål om, hvordan KI bruges, hvem der har ansvar, og hvordan kontrol udøves.

Tilsyn er ikke en undtagelsestilfælde. Det er en del af normal virksomhedsdrift.

Spørgsmålet er derfor ikke om tilsyn kommer, men om klinikken kan redegøre for egen praksis.

2. Operationel implikation

Hvis en tandklinik bruger KI-systemer, bør ledelsen kunne dokumentere:

• Hvilke systemer der bruges.

• Til hvilke formål.

• Hvordan ansvar er fordelt.

• Hvordan menneskelig kontrol udøves.

• Hvordan afvigelser håndteres.

Tilsyn vil typisk rette sig mod struktur, ikke teknologiens indre funktion.

Manglende overblik er i sig selv et styringsproblem.

3. Analytiske hovedpunkter

3.1 Forventede spørgsmål fra tilsynsmyndigheder

Ved tilsyn kan følgende spørgsmål være relevante:

• Har klinikken overblik over al KI-brug?

• Hvem er deployer?

• Hvem har klinisk beslutningsansvar?

• Hvordan sikres menneskelig kontrol?

• Hvordan dokumenteres brug og ændringer?

• Hvordan håndteres fejl eller afvigelser?

Hvis svarene er personafhængige eller uformelle, indikerer dette manglende struktur.

3.2 Dokumentation af ansvar og beslutningslinjer

Ansvarsplacering skal være eksplicit defineret.

Dette indebærer:

• Identificeret overordnet ansvarlig i ledelsen.

• Afklaret klinisk beslutningsansvar.

• Beskrevet rollefordeling mellem behandler og ledelse.

• Dokumenteret deployer-rolle hvor relevant.

En tydelig ansvarsstruktur reducerer risikoen for ansvarspulverisering ved hændelser.

3.3 Sporbarhed og ændringslog

KI-systemer kan opdateres over tid. Brugsområde kan ændres.

Derfor bør virksomheden kunne redegøre for:

• Hvornår systemet blev taget i brug.

• Hvilke versioner der er blevet brugt.

• Ændringer i brugsområde.

• Opdaterede risikovurderinger efter behov.

• Eventuelle hændelser eller afvigelser.

Sporbarhed er en del af efterprøvbarheden.

3.4 Begrebet tilsynsrobusthed

Tilsynsrobusthed indebærer, at virksomheden kan forklare egen praksis uden at improvisere.

Dette forudsætter:

• Struktureret dokumentation.

• Klare roller.

• Definerede kontrolrutiner.

• Sammenhæng mellem praksis og skriftlige rutiner.

Robusthed handler ikke om at have omfattende dokumenter, men om at have konsistente og forståelige strukturer.

3.5 Sammenhæng mellem intern styring og ekstern kontrol

Tilsyn er en ekstern manifestation af intern styring.

En klinik der har:

• Kortlagt KI-brug.

• Afklaret deployer-rolle.

• Defineret menneskelig oversight.

• Dokumenteret ansvar og rutiner.

vil som regel være forberedt på tilsyn uden særlige foranstaltninger.

Tilsynsberedskab kan ikke etableres i efterkant af en henvendelse.

4. Intern afklaringsmatrice

Følgende forhold bør være dokumenteret og let tilgængelige:

1. Fuldt overblik over KI-systemer i brug.

2. Defineret deployer-rolle hvor relevant.

3. Placeret ledelsesansvar.

4. Afklaret klinisk beslutningsansvar.

5. Beskrevet praksis for menneskelig oversight.

6. Dokumenteret oplæring af ansatte.

7. Rutiner for afvigelser og hændelser.

8. Ændringslog for systemer og praksis.

Hvis dokumentationen ikke kan fremlægges samlet, er tilsynsrobustheden begrænset.

5. Afsluttende syntese

KI-brug i tandpleje er ikke undtaget fra ordinær virksomhedsdrift. Den indgår i den samlede styringsstruktur.

Tilsyn vil ikke primært spørge om algoritmens opbygning.
Det vil spørge om ansvar, kontrol og dokumentation.

En tandklinik, der har etableret struktur før spørgsmål opstår, står bedre rustet – både organisatorisk og regulatorisk.

Tilsynsrobusthed er et resultat af intern orden.