2026-09-29

11 min lesing

Faktaportalen

rettet 2026-09-29

Kan en KI-agent bevise at den siterer riktig? Vi prøvde det på NAVs statistikknotater

Stanford-mønsteret Paper2Agent gjør en forskningsartikkel til en agent som må gjenskape sine egne resultater før den får svare på nye spørsmål. Vi prøvde samme oppskrift på NAVs kvartalsnotater om AAP og uføretrygd - og fant et tall som ikke lot seg gjenskape.

Foto: Austin Distel / Unsplash

Tenk deg at en KI-agent siterer et tall fra en kilde. Hvordan vet du at den ikke bare fant tallet opp, eller leste kilden feil? Et forskerteam ved Stanford har beskrevet et mønster de kaller Paper2Agent [1]: gjør en forskningsartikkel om til en agent som må gjenskape artikkelens egne resultater før den får lov til å svare på nye spørsmål artikkelen ikke stiller selv. Vi har prøvd samme oppskrift på noe helt annet enn en forskningsartikkel - NAVs kvartalsvise statistikknotater om arbeidsavklaringspenger (AAP) og uføretrygd.

Tanken er den samme som hos en revisor. Det holder ikke å lese at endringen er 1,4 prosent. Man regner den ut på nytt fra bilagene, og ser om man kommer til samme svar.

Flytdiagram: NAVs PDF-notat blir til en datafil med tallene og notatets endring. Verktøyet reproduce_series regner endringen selv. Stemmer den innenfor ett prosentpoeng, er kvartalet reprodusert. Hvis ikke må avviket stå i en avviksliste med begrunnelse, ellers feiler testen.

Fra PDF til datafil, men ikke til agent

Faktaportalen har lenge kjørt NAVs statistikknotater gjennom en AI-ekstraksjon: PDF-ene leses, hovedfunn og nøkkeltall trekkes ut, og resultatet skrives til to datafiler portalen bruker på sidene om AAP og uføretrygd. Det løste ett problem - tallene ble tilgjengelige for grafene - men skapte et nytt. En agent som spør Faktaportalens MCP-server om AAP-tall fikk bare tallene, ikke notatet de kom fra. Ingen hovedfunn, ingen av NAVs egne vurderinger, ingen diagnosefordeling, og ingenting som sa «dette er hva NAV selv skrev, med lenke til PDF-en».

MCP står for Model Context Protocol. Det er en åpen standard som lar en KI-assistent, for eksempel Claude, kalle verktøy på en server og få strukturerte svar tilbake, i stedet for å lete på nettsider og gjette.

Tre nye verktøy, og ett som etterprøver

Vi la til tre verktøy i den eksisterende MCP-serveren [4] - samme server, samme nøkkelkrav som før:

  • Hent notatet selv. Ett verktøy gir hovedfunn, NAVs egen vurdering, diagnosefordeling og tallene for et gitt kvartal, alltid med lenke til NAVs PDF og hvilken periode notatet gjelder.
  • Forklar begrepene. Et annet svarer på hva notatene faktisk mener med sine egne ord - hva er forskjellen mellom «smal» og «bred» i AAP-statistikken, og hva er de tre navnene NAV har brukt på uføretrygd over tid (uføreytelser til 2010, uførepensjon til 2015, uføretrygd i dag)? - hentet fra samme tekst som forklaringsboksene på portalen, ikke skrevet på nytt.
  • Gjenskap tidsserien. Det tredje regner selv ut endringen fra ett kvartal til det neste, og setter sitt eget tall side ved side med endringen notatet oppgir.

Det siste verktøyet er kjernen i Paper2Agent-mønsteret: gjenskap kildens egne tall fra rådataene, i stedet for å bare gjengi dem.

Slik ser det ut i praksis

Si at du spør en KI-assistent koblet til Faktaportalens MCP-server: «Hvor mye endret AAP seg i første kvartal 2018, ifølge NAV?»

Datafila vår har et ferdig svar: minus 7,6 prosent. En assistent uten etterprøving ville sitert det. Men før den svarer, kaller den verktøyet reproduce_series med ytelse og kvartal:

{ "ytelse": "aap", "fra": "2018Q1", "til": "2018Q1" }

Svaret fra serveren ser slik ut (forkortet, men feltene og tallene er de ekte):

{
  "ytelse": "Arbeidsavklaringspenger (AAP)",
  "toleranse_prosentpoeng": 1,
  "kvartaler": [
    {
      "kvartal": "2018Q1",
      "hovedtall": 138500,
      "bitall": 190600,
      "egen_endring": -7.6,
      "beregnet_endring": -4.89,
      "metode": "yoy_bitall",
      "avvik_pp": 2.71,
      "innenfor_toleranse": false,
      "kjent_avvik": "Målbytte i smal-serien: 2018Q1 er antall med utbetaling (138 500), 2017Q1 antall med rett til AAP (143 400). Notatets -7,6 % stemmer med rett til AAP, 132 500 mot 143 400, men den tallraden står bare i oppsummeringen, ikke i serien. Ingen av de fire beregningsmåtene kommer nærmere enn 2,7 prosentpoeng."
    }
  ]
}

Feltene leses slik: egen_endring er endringen uttrekket vårt har registrert for notatet, beregnet_endring er det vi fikk da vi regnet selv, og metode sier hvilken regnemåte som kom nærmest (her år over år på den brede definisjonen). innenfor_toleranse: false betyr at tallene ikke stemmer, og kjent_avvik forklarer hvorfor vi ikke retter det bort.

Assistenten vet nå at tallet ikke kan tas for gitt, og hvorfor: tidsserien bruker ett mål for 2018 og et annet for 2017. Den kan hente selve notatene med get_statistikknotat og lese teksten. Ifølge oppsummeringen vi har hentet ut fra notatet, hadde 132 500 personer rett til AAP i mars 2018, mot 143 400 året før. Det gir nøyaktig -7,6 prosent. Da kan den svare noe slikt: «Ifølge NAVs notat gikk antallet med rett til AAP ned 7,6 prosent, fra 143 400 til 132 500. Merk at Faktaportalens tidsserie har antallet med utbetaling for 2018, 138 500, og ikke kan brukes til å regne ut denne endringen.» Det er et svar du kan etterprøve, i stedet for et tall du må stole på.

Ett tall som stemmer, og ett som ikke ser ut til å gjøre det

For AAP fjerde kvartal 2022 skriver NAV [2] at antall mottakere gikk opp 1,4 prosent fra kvartalet før. Regner vi selv fra tallene i tidsserien - 139 380 mottakere mot 137 423 kvartalet før - får vi 1,42 prosent. Det stemmer, innenfor avrunding.

For AAP første kvartal 2018 har datafila derimot minus 7,6 prosent som notatets endring [3]. Ingen av de fire måtene vi kan regne det på - år-over-år eller kvartal-over-kvartal, på den smale eller den brede definisjonen NAV bruker - kommer nærmere enn 2,7 til drøyt 6 prosentpoeng fra det tallet.

Forklaringen lå etter alt å dømme i vår egen tidsserie. Den smale serien skal telle det samme hvert kvartal, men gjør det ikke: fram til juni 2017 teller den personer med rett til AAP, og fra september 2017 personer med utbetaling av AAP. For mars 2017 står det 143 400 med rett til AAP, for mars 2018 138 500 med utbetaling. Det er to ulike mål. I oppsummeringen vi har hentet ut fra 2018-notatet, står det at 132 500 hadde rett til AAP. Regnet mot 143 400 gir det nøyaktig -7,6 prosent. NAVs tall ser altså ut til å stemme, mens serien vår sammenligner epler med pærer. Det er et poeng i seg selv: reproduksjonen fant ikke en feil hos kilden, den fant etter alt å dømme en feil i vår egen tidsserie.

Tallinje for AAP første kvartal 2018. Notatets endring er minus 7,6 prosent. De fire beregningene fra tidsserien gir minus 4,9 og minus 3,4 prosent år over år, og minus 1,5 prosent kvartal over kvartal på begge definisjoner, og nærmeste ligger 2,7 prosentpoeng unna. Regnet på antall med rett til AAP, 132 500 mot 143 400, treffer vi minus 7,6.

Hele bildet: 41 av 47

Ett kvartal er et eksempel, ikke et bevis. Figuren under viser alle kvartalene der datafila har en endring fra notatet og vi har tall å regne fra: 24 for AAP og 23 for uføretrygd. Ligger et punkt på diagonalen, fikk vi samme svar som notatet.

Spredningsplott med notatets endring langs den ene aksen og endringen vi regnet ut langs den andre. 41 av 47 kvartaler ligger i båndet rundt diagonalen. Seks ligger utenfor og er merket med ring: tre AAP-kvartaler i 2016, AAP første kvartal 2018, AAP tredje kvartal 2019 og uføretrygd fjerde kvartal 2012.

41 av 47 kvartaler stemmer innenfor ett prosentpoeng. De seks som ikke stemmer, har to forklaringer.

Grunnlaget mangler (fire kvartaler). NAV sammenligner med samme kvartal året før, og det kvartalet finnes ikke i datasettet vårt. Da kan vi bare regne kvartal over kvartal, som er et annet mål, og vi kan verken bekrefte eller avkrefte NAVs tall. Tallene fra notatene er slik vi har hentet dem ut med AI:

  • AAP andre, tredje og fjerde kvartal 2016. Notatene sammenligner med 2015. Datafila har -1,9, -2,0 og 1,7, vi fikk -0,4, -0,9 og 0,6. For fjerde kvartal skriver NAV i teksten en nedgang på 1,7 prosent, så fortegnet i datafila er også feil.
  • AAP tredje kvartal 2019. Notatet oppgir -10,0 prosent fra september 2018, men det kvartalet mangler i arkivet. Kvartal over kvartal gir -2,9.

Feil i hvilken serie verktøyet regner fra (to kvartaler). Her finnes grunnlaget, men ikke i den formen verktøyet bruker:

  • AAP første kvartal 2018, beskrevet over: serien blander antall med rett til AAP og antall med utbetaling. Regnet på samme mål treffer vi notatets -7,6.
  • Uføretrygd fjerde kvartal 2012. Notatet oppgir en økning på 1,1 prosent fra året før. Ifølge uttrekket fra notatet for desember 2011 var det 306 700 mottakere, og da blir endringen +1,1 prosent. Men verktøyet regner fra en serie som er laget for en graf over uføregrad, og den tar bare med kvartaler der uføregraden er oppgitt. 2011 er filtrert bort, så verktøyet må ty til kvartalet før og får 0,1.

To av de seks avvikene skyldes altså feil hos oss: en serie som blander to mål, og en serie som mangler kvartaler den burde hatt. De fire andre kan vi verken bekrefte eller avkrefte, selv om fortegnet for AAP fjerde kvartal 2016 også er feil hos oss. Ingen av dem peker mot en feil hos NAV.

I tillegg er det sju kvartaler i tidsserien der notatet oppga en endring, men der verktøyet ikke har noe å sammenligne med. Samme filter slår til her: for fem av dem finnes tallet året før i datafila, bare ikke i serien verktøyet regner fra, og regnet derfra stemmer alle fem. Bare to kvartaler, AAP første kvartal 2016 og uføretrygd tredje kvartal 2004, mangler grunnlag helt. De sju er ikke med i figuren, og de regnes ikke som avvik.

Hvorfor vi viser avviket i stedet for å skjule det

Den enkle løsningen ville vært å bare ikke nevne tallene som ikke stemmer. Den ærlige løsningen er å vise dem åpent, med en begrunnelse, og la testene passe på at begrunnelsen fortsatt er sann.

Avvikene står derfor i en egen, navngitt liste i koden, med tekst om hvorfor de ikke stemmer. En automatisk test kjører hver gang koden endres, og gjør to ting: den feiler hvis et nytt, udokumentert avvik dukker opp - en fersk regresjon som ellers ville gått ubemerket forbi - og den feiler også hvis et avvik som står i listen plutselig begynner å stemme igjen, fordi det da betyr at oppføringen er foreldet og skal fjernes. Verktøyet og testen bruker nøyaktig samme utregning, så de to kan ikke drifte fra hverandre over tid.

Andre som prøver noe lignende

Vi er ikke de eneste som prøver å gjøre KI-svar etterprøvbare. Tilnærmingene sjekker ulike ting, og forskjellen er verdt å kjenne:

HvemHva som etterprøvesHvordan
Stanford, Paper2Agent [1]At agenten kan gjenskape artikkelens egne resultaterArtikkelens kode pakkes som MCP-verktøy, og verktøyene testes automatisk før agenten tas i bruk
OpenAI, PaperBench [5]Om en agent kan gjenskape forskning helt fra bunnenAgenten skriver koden selv og vurderes mot tusenvis av delmål laget sammen med forfatterne
Google, DataGemma [6]At statistikk i svaret kommer fra en offisiell kildeModellen slår opp tallene i Data Commons underveis i stedet for å skrive dem fra hukommelsen
Anthropic, Citations [7]At et sitat faktisk står i dokumentetSitatteksten klippes ut av kildedokumentet, ikke generert av modellen
Meta, Chain-of-Verification [8]At påstander i et utkast holderModellen stiller seg selv kontrollspørsmål, svarer på dem hver for seg, og retter utkastet

Paper2Agent er publisert i Nature i september 2026. Der klarte systemet å gjøre 74 av 100 artikler i beregningsbiologi om til fungerende agenter, og 593 av 599 genererte verktøy besto den automatiske valideringen [1]. PaperBench viser hvor krevende det er når agenten må starte fra null: den beste agenten i OpenAIs første målinger klarte i snitt 21 prosent av delmålene [5].

Det vi har gjort, ligger nærmest Paper2Agent, men i det små. Et sitat kan stå ordrett i dokumentet og likevel være galt, og et riktig tall kan se galt ut fordi det sammenlignes med feil ting, slik -7,6 gjorde mot vår egen tidsserie. Å sjekke at sitatet finnes, er derfor ikke nok. Man må også sjekke at tallet lar seg regne ut.

Et prinsipp som er større enn NAV-notatene

Poenget generaliserer utover denne ene datakilden. Overalt hvor en språkmodell har trukket tall og påstander ut av et dokument - en årsrapport, en forskningsartikkel, et referat - står man med samme spørsmål: stemmer utdraget med originalen? Paper2Agent-mønsteret gir et konkret svar: bygg agenten slik at den må reprodusere kildens egne resultater fra grunnlagsdataene, og la den vise forskjellen når den ikke kan. En agent som aldri kan ta feil åpent, er ikke mer troverdig enn en som ikke er testet.

Grenser for eksperimentet

To ting dette ikke er. Det er ikke automatisk generering av en agent fra en vilkårlig PDF - det er Paper2Agents fulle ambisjon, men vi startet med data vi allerede hadde kuratert og kvalitetssikret manuelt. Og reproduksjonen dekker bare kvartalene der vi faktisk har begge tallseriene å regne fra; sju kvartaler faller utenfor serien verktøyet regner fra, og for to av dem finnes det ikke noe å regne fra i det hele tatt. Det er ikke et avvik å forklare bort - det er ærlig å si at vi ikke har nok til å prøve.

Kilder

  1. Miao, J., Davis, J. R., Zhang, Y., Pritchard, J. K. og Zou, J. (2026). Reimagining research papers as interactive and reliable AI agents. Nature.
  2. NAV: AAP-statistikknotat 4. kvartal 2022.
  3. NAV: Statistikknotat om nedsatt arbeidsevne og arbeidsavklaringspenger, mars 2018.
  4. Faktaportalen: AI-verktøy og MCP.
  5. Starace, G. mfl. (2025). PaperBench: Evaluating AI's Ability to Replicate AI Research. OpenAI.
  6. Google Research (2024). Grounding AI in reality with a little help from Data Commons.
  7. Anthropic (2025). Introducing Citations on the Anthropic API.
  8. Dhuliawala, S. mfl. (2024). Chain-of-Verification Reduces Hallucination in Large Language Models. Findings of ACL 2024.
Hva synes du?

Nytt på portalen

Vis:
EnergiOppdatert

Datasentre: målestokkene for samfunnsnytte side om side →

Ny tabell over målestokkene som brukes når datasentrenes samfunnsnytte diskuteres: arbeidsplasser per MW og per GWh, verdiskaping per MWh, kryptoandel, hvem som betaler nettet og hvilke hensyn Stortinget og regjeringen har nevnt. Hver rad har kilde, periode og hva tallet teller. Tidslinja har fått høringen om anleggsbidrag.

EnergiOppdatert

Datasentre: hvordan andre land styrer nettet →

Ny tabell over åtte land: Danmark setter datasentre bakerst i køen ved lov, Irland krever egen kraft, Nederland forbyr de største anleggene de fleste steder, Tyskland lar modne prosjekter gå først, og Singapore fordeler kapasiteten selv. Med Sverige, Finland og Norge, og kilde per rad.

EnergiOppdatert

Datasentre: kraftbalansen fram mot 2035 →

Ny graf over Norges kraftbalanse i et normalår: om lag 15 TWh i dag, om lag 4 TWh i 2030 ifølge NVE, og NVEs scenarioer for 2035 fra 19,6 TWh til minus 3,6 TWh. Tabellen har også Midt-Norge og Nord-Norge, med rapport og side for hvert tall.

EnergiOppdatert

Datasentre: reservert kapasitet og kø hos Statnett fra 2020 →

Ny graf over reservert nettkapasitet og kapasitetskø for datasentre hos Statnett, fra 169 MW reservert i oktober 2020 til 4 200 MW reservert og 9 100 MW i kø 9. november 2026. Hvert punkt har kilde, og tabellen viser hvilket dokument tallet er lest i.

BloggNytt

Fire terawattimer: kraftbalansen bak datasenterdebatten →

Norge eksporterte 23 TWh strøm i 2025, men i et normalår er overskuddet om lag 15 TWh, og NVE venter om lag 4 TWh i 2030. For 2035 går NVEs tall fra 19,6 TWh i basisbanen til minus 3,6 TWh i et scenario uten ny vindkraft, med et nedre utfallsrom på om lag minus 15 TWh. Vi går gjennom hva tallene måler, hva som er forventning og hva som er scenario, og hvorfor 4 200 megawatt kan bli både 25 og 30 terawattimer. Femte del av serien Datasenterpausen.