Del 2 av 5 i serien om menneskelig tilsyn med KI
← Forrige del: Mennesket i loopen er ikke en sikkerhetsmekanisme
I forrige del så vi hvordan en svindelscore gradvis ble det samme som et avslag, selv om et menneske formelt tok hver beslutning. Den gang var feilen et tall som så presist ut. Med generativ KI ser feilen ut som et godt skrevet avsnitt.
Et sammendrag som var så grundig
Historien er konstruert.
I 2025 innførte Karis forsikringsselskap generativ KI. Nå fikk saksbehandlerne et ferdig sammendrag av hver sak: skademelding, takstrapport, korrespondanse og tidligere saker, kokt ned til en halv side med en anbefaling. Tidsbruken per sak falt kraftig.
En dag godkjente en erfaren saksbehandler et avslag på en vannskade. Sammendraget var ryddig og overbevisende: skaden skyldtes manglende vedlikehold. Det sammendraget ikke nevnte, var en e-post på side 23 der rørleggeren skrev at lekkasjen kom fra en produksjonsfeil i koblingen.
Da Kari spurte hvorfor han ikke hadde lest hele saken, svarte han: «Sammendraget var jo så grundig.»
Han kunne ikke se det som ikke stod der.
De nye fellene
Generativ KI arver alle de gamle fellene fra del 1. Men den gir deg ikke et tall. Den gir deg tekst, argumenter og en fortelling, og det åpner for nye feller:
- Lettlest = sant. Mennesker vurderer utsagn som er lette å lese, som mer sannsynlig sanne [1]. Språkmodeller skriver alltid ryddig og flytende, også når innholdet er feil. En feil i en score ser ut som en score. En feil i en tekst ser ut som et faktum.
- Usynlige utelatelser. Et sammendrag bestemmer hva du får se. I en stor studie av KI-genererte legenotater var utelatelser mer enn dobbelt så vanlige som oppdiktet innhold [2].
- Innramming. KI-en velger ikke bare et svar. Den formulerer premissene, velger hva som er relevant og bygger argumentet. Mennesket tar beslutningen, men på et grunnlag KI-en har skrevet. (Egen vurdering, bygger på [2].)
- Medgjørlighet. Språkmodeller har en dokumentert tendens til å gi brukeren rett fremfor å være korrekte [3]. Og når BCG-konsulenter faktasjekket og utfordret GPT-4, svarte modellen ikke med å innrømme begrensninger, men med å øke overtalelsen [4].
- Forklaringer som ikke forklarer. Forklaringer øker tilliten også i klassisk maskinlæring [5]. Med språkmodeller er begrunnelsen selv generert tekst, og den kan være plausibel, men gi et feil bilde av hva som faktisk styrte svaret [6].
- Kontrollasymmetri. Det tar sekunder å generere et sammendrag og kanskje en time å kontrollere det. Når effektivisering er hele poenget, er kontrollen det første som ryker. (Egen vurdering.)
- Ukjent feilrate. En svindelmodell er testet på én oppgave. En språkmodell brukes til alt fra sammendrag til juridiske vurderinger, og feilraten for akkurat din oppgave er sjelden målt. (Egen vurdering.)
- Eierskapsglidning. Vi verdsetter ting høyere når vi har vært med på å lage dem [7]. Når du redigerer et KI-utkast, kan resultatet føles som ditt eget, og da vurderer du det mindre kritisk. (Overføringen til KI-tekst er min vurdering.)
Score mot tekst
| Klassisk maskinlæring | Generativ KI | |
|---|---|---|
| Hva mennesket ser | En score eller kategori | Sammendrag, vurdering eller utkast |
| Hvordan feil ser ut | Et tall som ser presist ut | Et avsnitt som høres riktig ut |
| Hva tilliten bygger på | Målt treffsikkerhet | Språk, struktur og overtalelse [1][4] |
| Typisk skjult feil | Svak for enkelte grupper | Utelatelser [2] |
| Når du utfordrer systemet | Scoren står | Modellen kan gi deg rett, eller argumentere hardere [3][4] |
Kort sagt: Klassisk maskinlæring kan gi deg feil svar. Generativ KI kan gi deg feil grunnlag.
Den taggete grensen
Et forhåndsregistrert eksperiment med 758 BCG-konsulenter viser hvorfor dette er vanskelig. På oppgaver KI-en mestret, jobbet de raskere og bedre med GPT-4. På en oppgave utenfor KI-ens evner var de med KI 19 prosentpoeng mindre tilbøyelige til å komme frem til riktig svar enn de uten. Grensen mellom de to typene oppgaver var ikke synlig for brukerne [8].
En undersøkelse blant 319 kunnskapsarbeidere fant i tillegg at høy tillit til KI hang sammen med mindre kritisk tenkning, mens høy tillit til egen kompetanse hang sammen med mer [9].
I neste del: Det enkleste tilsynet er ofte å velge et enklere verktøy. Når trenger du egentlig generativ KI?
Les del 3: Trenger du egentlig generativ KI? →
Kilder
- Reber, R. & Schwarz, N. (1999). Effects of perceptual fluency on judgments of truth. Consciousness and Cognition, 8(3).
- Asgari, E. mfl. (2025). A framework to assess clinical safety and hallucination rates of LLMs for medical text summarisation. npj Digital Medicine.
- Sharma, M. mfl. (2023). Towards Understanding Sycophancy in Language Models. arXiv (ICLR 2024).
- Randazzo, S. mfl. (2025). GenAI as a Power Persuader. Harvard Business School Working Paper 26-021.
- Bansal, G. mfl. (2021). Does the Whole Exceed its Parts? CHI ’21.
- Turpin, M. mfl. (2023). Language Models Don’t Always Say What They Think. NeurIPS 2023.
- Norton, M. I., Mochon, D. & Ariely, D. (2012). The IKEA effect: When labor leads to love. Journal of Consumer Psychology, 22(3).
- Dell’Acqua, F. mfl. (2023). Navigating the Jagged Technological Frontier. Harvard Business School Working Paper 24-013.
- Lee, H.-P. mfl. (2025). The Impact of Generative AI on Critical Thinking. CHI ’25.