Når maskinen spør

Del 5 av 5 i serien om data maskiner kan stole på

Spør en KI-agent Faktaportalen om Norges klimagassutslipp, og den får et svar som ser omtrent slik ut: etiketten «Totale norske utslipp (mill. tonn CO2-ekv)», verdien 44,1, perioden 2025, kildene SSB 13931 og Miljødirektoratet, og en versjonsmerking som sier hvilken utgave av portalen tallet kom fra [5].

Det er et godt svar. Det har enhet, periode, kilde og versjon. Fram til 16. september sa det samme svaret 46,1 millioner tonn for 2024, mens sida det pekte på, viste 2025. SSBs tall for 2024 er 44,6. Grunnlaget grensesnittet leste fra, var ikke oppdatert da pipelinen hentet nye tall.

Gjennom fire deler har vi fulgt ett tall: hva det er, hva det betyr, hvor det kommer fra og hvordan det endrer seg. Denne siste delen handler om det øyeblikket en maskin faktisk spør.

Et grensesnitt laget for agenter

Faktaportalen har et grensesnitt som følger Model Context Protocol, MCP, en åpen avtale om hvordan et program forteller en språkmodell hvilke verktøy det har og hva de svarer [1][4]. Portalens server har åtte verktøy. Agenten kan få oversikt over portalen, søke i den, hente nøkkeltall, slå opp hvilke temaer som hviler på en kilde, følge årsakskjedene fra del 2, og sjekke hvor ferske dataene er.

Valgene som er gjort, er mer interessante enn verktøyene. De står som kommentarer i koden, og de er egentlig en liste over hva en maskin trenger:

Hvert svar har en versjonsmerking. En agent som siterer portalen, skal kunne si hvilken versjon den siterte.
Hvert tall har en periode. Et tall uten årstall er ubrukelig for en agent som skal sammenligne.
Blandede perioder gir en advarsel. Nøkkeltall hentes som en liste i ett kall. Gjelder tallene ulike år, står det i svaret at de ikke skal sammenlignes direkte uten å si hvilket år hvert tall gjelder.
Lenker kontrolleres før de sendes. En død lenke i et svar er verre enn ingen lenke, fordi modellen ikke kan skille den fra en gyldig.
Feil er data, ikke unntak. Finner verktøyet ikke det agenten ba om, svarer det med et forslag: «mente du». En modell som får et forslag, kan rette seg selv i samme runde.
Ingen gjetning. Finnes det ingen påstått årsakssammenheng mellom to sider, svarer verktøyet med en feil i stedet for å konstruere en.
Ferskhet per kadens. Et daglig datasett er gammelt etter tre dager, et månedlig etter 45. Ett felles tall ville enten ropt ulv hele tiden eller aldri.

Brukertesten: dataene lyver

Grensesnittet ble testet 31. august 2026 med realistiske oppgaver, slik en ny agent ville brukt det. Testen ga 13 funn. Ti ble rettet, to ble egne saker, og ett viste seg ikke å være en feil.

Det alvorligste funnet var ikke en feil i serveren. Verktøyene oppga at kvinneandelen blant uføretrygdede var 12,5 prosent. Den reelle andelen ligger rundt 57 til 60 prosent. Tallet var trukket ut av en språkmodell fra NAVs statistikknotater i PDF, og måleenheten i feltet skiftet betydning fra notat til notat uten at feltnavnet gjorde det.

Testrapporten oppsummerer det slik: verktøyet oppfører seg riktig; dataene lyver. Svaret hadde etikett, periode og kilde som alle andre tall. En agent hadde ingen mulighet til å se at det var feil.

Å fjerne tallet var heller ikke nok. Den samme uttrekkingen hadde skrevet tallet inn i prosa, i oppsummeringer og hovedfunn, og der sto det igjen. Opprydningen måtte gjennom tre runder før den verken lot feilen stå eller slettet setninger som var riktige.

To andre funn var av samme type som i del 1 og del 4:

Tre tall for samme ting. Ett svar ga antall uføretrygdede tre ganger, alle for 2025: 365 000, 374 918 og 389 023. At NAV og SSB teller ulikt, er poenget med sida tallene kom fra. Men svaret sa det ikke, og periodeadvarselen slo ikke til, siden perioden var den samme. Den saken er ikke løst.
Frosne data. Ferskhetsverktøyet viste sju datasett som hadde stått fast i opptil 99 dager, mens datapipelinen var grønn. Det var grensesnittet for maskiner som fant det, ikke overvåkningen for mennesker.

Instruksjoner der metadata mangler

I datalageret har portalen to spørretjenester [6] der man kan stille spørsmål om NAVs statistikknotater på vanlig norsk, og en språkmodell skriver spørringen. Instruksene til modellen er et tydelig bilde på hva som skjer når metadata mangler.

Der står det med store bokstaver at kolonnen for nedlastingsdato ikke er rapporteringsåret, fordi alle radene er lastet ned i 2026. Året må leses ut av filstien. Og for tidsserier skal modellen bruke største verdi per år, ikke summere, fordi summen legger sammen kvartalstall.

Det er metadata skrevet som prosa, fordi dataene ikke bar dem selv. Det virker, men bare for den ene modellen som får instruksene.

Maskinlesbar, men ikke tilgjengelig for maskiner

FAIR-prinsippene fra del 1 krever ikke at data er åpne, men at de kan hentes med en åpen, standard protokoll, om nødvendig med autentisering, og at metadataene er tilgjengelige selv når dataene ikke er det [2]. Der er Faktaportalen bevisst tilbakeholden.

KI-crawlere bes holde seg unna. Fila som forteller roboter hva de får lese, ber blant andre GPTBot, ChatGPT-User, Google-Extended, CCBot og PerplexityBot holde seg unna. Vanlige søkemotorer slipper til. Lista er ikke komplett: nyere innsamlere som ClaudeBot står ikke der, og fila er en anmodning, ikke en sperre.
Grensesnittet krever nøkkel. MCP-serveren svarer bare med en delt nøkkel, og er av i miljøer der nøkkelen ikke er satt. Rate-begrensning, logging av bruk og en side som forklarer hvordan man tar grensesnittet i bruk, er ikke bygget ennå.
Ingen nedlasting og ingen åpen API. Det finnes ingen CSV- eller JSON-filer å laste ned og ingen dokumentert API for dataene.
Ingen llms.txt. Det finnes et forslag om en fil på roten av et nettsted som forteller språkmodeller hva nettstedet inneholder, og hvor de beste kildene er [3]. Portalen har ikke en.

Egen vurdering: Å be crawlere som samler treningsdata holde seg unna, er et forsvarlig valg for en portal som selv henter tallene fra åpne kilder. Den som vil ha tallene, bør hente dem fra SSB og NAV, ikke fra oss. Men da er det verdt å si tydelig at portalens data i dag er laget for å kunne leses av maskiner, uten at maskiner flest faktisk kan lese dem.

Det portalen fortsatt ikke gjør

Enheten står i etiketten. Svaret om klimagassutslipp sier «mill. tonn CO2-ekv» i etiketten, ikke i egne felter for enhet og skala. Det er den samme feilformen som ga «44 071 1 000 tonn» i del 1, i en annen del av portalen.
Tallene i grensesnittet er en kopi. Nøkkeltallene kommer fra grunnlagsfilene for artiklene, ikke direkte fra datafilene. For utslippstallene ble grunnlagsfila rettet til 2025-tall for hånd i september. Portalen har en avstemming i kodeløypa som sammenligner grunnlagsfilene med datafilene, men den dekker bare økonomisidene, ikke utslippstallene.
Kildene gjelder hele svaret, ikke hvert tall. Svaret om utslipp oppgir SSB 13931 og Miljødirektoratet uten å si hvilket tall som kommer fra hvem, og klimamålet i samme svar har ingen periode.
Opphav og beregning er ikke med. Svaret sier hvilken kilde, men ikke om tallet er hentet fra et API, lest ut av en rapport eller regnet ut av oss.

Det serien handler om

Tallet vi har fulgt gjennom serien, 44,1 millioner tonn, har vært riktig hele tiden. Det som har vært feil, er alt rundt det: enheten, begrepet, kilden, datoen og versjonen.

For et menneske er det mye av det samme. For en maskin er det alt den har. En KI-modell stusser ikke over to tall etter hverandre, spør ikke hva «transport» betyr, og sjekker ikke om kilden stemmer. Den gjentar det den får, med samme sikkerhet som når det er riktig. Derfor må et tall kunne forklare seg selv.

Tilbake til hovedartikkelen: Et tall må kunne forklare seg selv →

Kilder

Model Context Protocol. Specification.
Wilkinson, M. D. mfl. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data 3.
llms.txt. Forslag til en fil som hjelper språkmodeller å bruke et nettsted.
Faktaportalen. AI-verktøy og MCP. Om grensesnittet for KI-agenter.
Faktaportalen. Klimaeffekt. Sida svaret om klimagassutslipp peker på.
Faktaportalen. Teknologi og arkitektur. Om datalageret og spørretjenestene.