Arkitektur: dataplattform og AI

Beslutningen:

Du velger hvilket format tabellene ligger i, og hvilken katalog som holder rede på dem og styrer tilgangen.

Portalen bruker:

Tabellene i Databricks-delen ligger i Unity Catalog. De fleste sidene leser likevel TypeScript-filer som ligger i git.

I bevegelse:

Tabellformatene nærmer seg hverandre, og konkurransen har flyttet seg til katalogen.

Beslutningen:

Du velger hva som kjører spørringene, og dermed om du trenger en plattform eller klarer deg med én maskin.

Portalen bruker:

Python med pandas i GitHub Actions lager datafilene bak nesten alle sidene. Databricks SQL kjører dbt-modellene bak statistikknotatene.

I bevegelse:

Flere analyser enn før får plass på én maskin.

Beslutningen:

Du velger hvor logikken skal bo: i lasteskriptene, i transformasjonene eller i verktøyet som setter dem i rekkefølge.

Portalen bruker:

I Databricks-delen lastes rådata uendret, og all logikk ligger i dbt. GitHub Actions starter de fleste jobbene etter tidsplan, mens dbt kjøres fra dbt Cloud.

I bevegelse:

Verktøyleverandørene slår seg sammen, og færre selskaper eier mer av kjeden.

Beslutningen:

Du velger hvor betydningen av et tall skal stå skrevet, slik at den følger med når verktøyet byttes.

Portalen bruker:

I Databricks-delen står forretningslogikken i dbt-modellene, og metric views i Unity Catalog er tatt i bruk for uføretrygd. Resten av portalen regner i Python.

I bevegelse:

Leverandørene arbeider med et felles format for semantiske modeller.

Beslutningen:

Du velger om språkmodellen skal hente ut data, svare på spørsmål om dem, eller begge deler, og hva du sjekker svarene mot.

Portalen bruker:

En språkmodell henter tall ut av NAVs statistikknotater i Databricks, og Genie svarer på spørsmål om dem.

I bevegelse:

Ustrukturerte dokumenter behandles som en vanlig datakilde, i SQL.

Beslutningen:

Du velger hvordan en agent får tilgang til dataene dine, og hvordan du bytter modell uten å bygge om.

Portalen bruker:

Portalen har en egen MCP-server over registrene sine, og sporer samtalene i chatten med MLflow.

I bevegelse:

MCP er i ferd med å bli det vanlige grensesnittet mellom agenter og data.

Beslutningen:

Du velger hvem som drifter plattformen, og i hvilket land og under hvilken lov dataene ligger.

Portalen bruker:

Portalen kjører på Databricks Free Edition, Netlify, GitHub og Supabase. Kvoten i gratisutgaven styrer hva som kan kjøres.

I bevegelse:

Europeiske virksomheter spør oftere om hvor dataene ligger og hvem som kan kreve dem utlevert.

Serien tar ett lag om gangen og spør hva som må stå fast når verktøyet byttes. Hver del viser hva portalen selv valgte, og hva det kostet.

1. IntroSlik er tallene bygget