Mennesket i loopen er ikke en sikkerhetsmekanisme

Del 1 av 5 i serien om menneskelig tilsyn med KI

← Introduksjon til serien

«KI er assistenten. Mennesket tar beslutningen.»

Få formuleringer brukes oftere som bevis på at en virksomhet har tatt i bruk KI på en ansvarlig måte. Men EUs KI-forordning peker ut akkurat denne situasjonen som et sted der man må være ekstra på vakt. Artikkel 14 krever at de som fører tilsyn med høyrisikosystemer, er bevisst på tendensen til å stole for mye på systemet, særlig når systemet gir anbefalinger til beslutninger som mennesker tar [8].

Denne serien handler om hvorfor.

Historien om Kari

Historien er konstruert for å illustrere mekanismene. Selskapet og personene finnes ikke.

Kari leder skadeoppgjøret i et mellomstort norsk forsikringsselskap. I 2019 fikk avdelingen en maskinlæringsmodell som ga hver skademelding en svindelscore fra 0 til 1. Leverandøren kunne dokumentere at modellen traff riktig i 94 % av tilfellene. Ledelsen var tydelig: Modellen anbefaler, saksbehandleren beslutter.

De første månedene sjekket saksbehandlerne nesten alle saker med høy score grundig. Modellen hadde som regel rett. Etter et år sjekket de færre. Etter to år var en score over 0,8 i praksis det samme som et avslag. Ingen hadde bestemt det. Det bare ble sånn.

To personer går gjennom et utfylt papirskjema ved et bord, med penn, mobiltelefon og nettbrett ved siden av Foto: Olena Kholina / Unsplash

Så kom klagesakene. En gruppe kunder med kort kundehistorikk var blitt avvist langt oftere enn andre. Modellen var god i snitt, men dårlig for akkurat dem. Det hadde aldri vist seg på skjermen. Saksbehandlerne så ett tall, og tallet så presist ut.

Et menneske tok hver eneste beslutning. I praksis var det maskinen som bestemte.

Slik glir tilsynet

Flytdiagram i seks trinn ovenfra og ned: ved innføringen sjekkes alt grundig. Etter seks måneder har modellen som regel rett. Etter ett år sjekkes færre saker. Etter to år betyr høy score avslag. Feilen oppdages først via klager, og en stiplet pil viser at ansvaret havner hos saksbehandleren.

Ingen beslutter at kontrollen skal forsvinne. Den forsvinner fordi systemet stort sett har rett, og fordi det alltid er mer å gjøre.

To begreper du trenger

Forskeren Ben Wagner kaller dette kvasi-automatisering: mennesket er formelt med, men fungerer i praksis som et stempel på en ellers automatisert beslutning [1].

Madeleine Clare Elish viser hvordan ansvaret da havner hos nærmeste menneske, selv om det hadde begrenset kontroll. Hun kaller det en moral crumple zone, etter knusesonen i en bil [2]. Knusesonen i bilen beskytter føreren. Den moralske knusesonen beskytter systemet, på bekostning av mennesket.

Ingen av begrepene er spesifikke for én type KI. Eksemplene deres spenner fra luftfart og selvkjørende biler til innholdsmoderering.

Fellene som alltid har vært der

Disse skjevhetene er godt dokumentert, og de gjelder all automatisering som gir anbefalinger:

• Automasjonsbias. Vi følger systemet når det tar feil, og overser feil systemet ikke varsler om. Det rammer både nybegynnere og eksperter [3].
• Selvtilfredshet over tid. Jo mer pålitelig systemet virker, jo mindre overvåker vi det, særlig når vi har mye annet å gjøre [3]. Et system som er riktig 94 % av gangene, lærer oss å slutte å lete etter de 6 prosentene.
• Forankring. Første tall eller forslag vi ser, trekker vurderingen vår mot seg [4].
• Skjult ujevn treffsikkerhet. En modell kan være god i snitt og klart dårligere for enkelte grupper, uten at det synes i den enkelte saken [5].
• Forklaringer øker tilliten, ikke treffsikkerheten. Når systemet forklarer anbefalingen sin, blir folk mer tilbøyelige til å følge den, også når den er feil [7].
• Kompetanseforvitring. En studie fra fire polske sentre, gjort i samarbeid med Universitetet i Oslo, fant at leger som var vant til KI-støtte ved koloskopi, fant færre forstadier til kreft når de jobbet uten KI [6].
• Ansvarsforskyvning. Maskinen anbefalte, mennesket godkjente. Når noe går galt, havner ansvaret hos mennesket [1][2].

Plassering er ikke tilsyn

Kari fikk ikke problemer fordi selskapet brukte KI. Hun fikk problemer fordi alle trodde at et menneske i loopen var det samme som et menneske i kontroll.

Et menneske i loopen er en plassering. Tilsyn er en evne, og den må bygges, måles og vedlikeholdes.

I neste del: Kari får generativ KI, og oppdager at de gamle fellene har fått selskap av nye.

Les del 2: Generativ KI har nye feller →

Les mer

• Ben Green (2022) gikk gjennom offentlige regler som krever menneskelig tilsyn med algoritmer, og fant at de ofte gir falsk trygghet og lar leverandører og etater slippe ansvar [9].
• Elish og Hwang (2015) viser hvordan luftfarten har gitt maskinen æren når det går bra, og piloten skylden når det går galt [10].

Kilder

1. Wagner, B. (2019). Liable, but Not in Control? Policy & Internet, 11(1).
2. Elish, M. C. (2019). Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction. Engaging Science, Technology, and Society, 5.
3. Parasuraman, R. & Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation. Human Factors, 52(3).
4. Tversky, A. & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases. Science, 185.
5. Buolamwini, J. & Gebru, T. (2018). Gender Shades. PMLR, 81.
6. Budzyń, K. mfl. (2025). Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy. The Lancet Gastroenterology & Hepatology.
7. Bansal, G. mfl. (2021). Does the Whole Exceed its Parts? CHI ’21.
8. EUs KI-forordning, artikkel 14.
9. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review, 45.
10. Elish, M. C. & Hwang, T. (2015). Praise the Machine! Punish the Human! Data & Society.