Bygget for det norske språket: Slik utviklet vi neste generasjon AI-tekstdeteksjon

Plagiatkontroll.no har utviklet og produksjonssatt en ny generasjon AI-tekstdetektor, spesifikt tilpasset det norske språket. Modellen forener en storskala, norsktrent språkmodell med en avansert mekanisme for å avdekke delvis maskinredigert tekst – et felt der konvensjonelle internasjonale verktøy ofte kommer til kort. Denne artikkelen gir en helhetlig teknisk og metodisk gjennomgang av modellarkitekturen, treningsgrunnlaget og det vitenskapelige rammeverket som ligger til grunn for løsningen.

De fleste kommersielle AI-detektorer er primært utviklet for og trent på engelskspråklige tekstmengder. Norsk kjennetegnes imidlertid av distinkte syntaktiske strukturer, utstrakt bruk av sammensatte ord og særegne stilistiske konvensjoner, kombinert med et vesentlig mer begrenset tilfang av åpne treningsdata. En direkte overføring eller overfladisk flerspråklig tilpasning av engelske modeller fører derfor til utilfredsstillende treffsikkerhet – særlig innen krevende sjangre som akademiske semesteroppgaver, vitenskapelig sakprosa og studentjournalistikk.

Vår målsetting har vært å utvikle et verktøy med tilstrekkelig metodisk presisjon for akademisk bruk. I en kontekst der uberettigede mistanker kan få alvorlige konsekvenser for den enkelte students rettssikkerhet, må feilmarginene holdes på et absolutt minimum. Samtidig kreves robusthet overfor et raskt voksende økosystem av generative språkmodeller (herunder OpenAI GPT, Google Gemini, Anthropic Claude og xAI Grok).

Hovedmodell: Dokumentklassifisering på token-nivå

Kjernemodellen bygger på NB-BERT-large, en transformer-basert språkmodell (~355 millioner parametere) utviklet av Nasjonalbiblioteket. Modellen er foretrukket fremfor generiske flerspråklige alternativer på grunn av sin dokumentert overlegne forståelse av særnorsk morfologi, syntaks og fagspråk.

I stedet for en grovkornet helhetsvurdering er modellen trent til å klassifisere tekst på token-nivå i tre distinkte kategorier, som deretter aggregeres til setnings- og dokumentnivå:

• Menneskeskrevet tekst: Innhold forfattet i sin helhet av et menneske.
• Maskingenerert tekst: Avsnitt eller dokumenter forfattet i sin helhet av en språkmodell.
• Maskinassistert tekst: Menneskeskrevne tekster der deler er bearbeidet, omskrevet, utvidet eller polert av en språkmodell.

Denne tredelte tilnærmingen bygger på toneangivende forskning innen fagfeltet – blant annet metodikk etablert av Pangram Labs. Forskningen dokumenterer at sannsynlighetsberegning på token-nivå over overlappende sekvenser gir vesentlig høyere presisjon og transparens enn konvensjonell, binær (menneske/maskin) klassifisering av hele dokumenter under ett.

Vindusbasert analyse (sliding window)

For å sikre analyse med høy lokal oppløsning evalueres ikke dokumentet som én monolittisk blokk. Modellen deler teksten inn i overlappende segmenter (512 tokens med glidende intervall), analyserer hvert vindu separat og anvender en utjevnende aggregering. Dette forhindrer at enkeltstående, stilistisk uvanlige eller teknisk tette setninger feilaktig vipper totalvurderingen for et helt dokument – en velkjent svakhet ved enklere deteksjonsmodeller.

Sekundærmodell: Lokalisering av modifiserte tekstpartier

Den største vitenskapelige utfordringen innen feltet – og et område der kommersielle løsninger har markante begrensninger – er å påvise nøyaktig hvor i en tekst en AI-bearbeiding har funnet sted, i stedet for kun å angi en overordnet sannsynlighet for dokumentet som helhet.

For å løse denne oppgaven har vi utviklet en spesialisert sekundærmodell, forankret i metoder fra nyere forskningslitteratur (bl.a. DAMASHA-rammeverket og bidrag fra SemEval 2024 for grensedeteksjon i hybridtekst):

• Info-Mask (oppmerksomhetsstyrt integrasjon): En oppmerksomhetsmekanisme (attention mechanism) som forener stilometriske variabler (perpleksitet, ordklassefordeling, tegnsettingstetthet, leksikalsk variasjon og lesbarhetsindeks) med modellens dype representasjoner for å identifisere subtile stilbrudd i teksten.
• CRF-lag (Conditional Random Fields): Et sekvensielt strukturlag som ivaretar den logiske sammenhengen mellom tilgrensende tokens. Dette gjør modellen i stand til å avgrense helhetlige, sammenhengende tekstpartier* med avvikende stilistisk profil, fremfor å produsere fragmenterte vurderinger av enkeltord.

Kombinasjonen av spesialiserte transformer-kodere, Info-Mask og CRF muliggjør ifølge akademiske studier opptil 40–45 prosentpoengs forbedring i presisjon sammenlignet med konvensjonelle metoder for samme oppgave.

Datagrunnlag og sjangerbalanse

Modellen er trent på et omfattende, kuratert korpus av norske tekster fra representative registre: semester- og masteroppgaver, studentpublikasjoner, fagpresse, riksdekkende nyhetsmedier og fagfellevurderte vitenskapelige artikler. Sjangerbalanse har vært et sentralt metodisk premiss; empiriske undersøkelser viser at overrepresentasjon av én enkelt teksttype direkte svekker modellens evne til å generalisere på tvers av andre domener.

Kalibrert generering av syntetiske data

For å sikre at modellen gjenkjenner maskingenerert tekst uavhengig av hvilket verktøy som er benyttet, har vi etablert et kalibrert syntetisk datagrunnlag ved hjelp av markedsledende språkmodeller (OpenAI GPT-familien, Google Gemini, Anthropic Claude og xAI Grok). Vi har variert instruksjonsformuleringer (prompts), samplingsparametre (herunder temperatur og top-p) samt graden av omskriving systematisk. Dette gjør modellen i stand til å identifisere generelle matematiske og stilistiske kjennetegn ved syntetisk tekst, fremfor å overtilpasses idiosynkrasier fra én enkelt leverandør.

Motstandstesting (adversarial red-teaming)

For å evaluere motstandsdyktigheten mot bevisste omgåelsesforsøk har vi implementert et automatisert rammeverk for motstandstesting (adversarial red-teaming). En autonom evalueringsagent genererer systematisk tekstvarianter designet for å unngå deteksjon ved å etterligne menneskelige skrivefeil, uformell syntaks og atypisk setningsstruktur. Svakhetene som avdekkes gjennom denne prosessen, tilbakeføres direkte inn i treningssløyfen, i tråd med etablerte standarder for robusthetstesting i forskningslitteraturen.

Målrettet feilretting (hard negative mining)

Vår erfaring viser entydig at målrettet trening på faktiske feilklassifiseringer (hard negative mining) gir overlegne resultater sammenlignet med ren volumøkning av treningsgrunnlaget. Ved systematisk å isolere krevende grensetilfeller – eksempelvis formelt menneskeskrevet fagspråk med lav leksikalsk variasjon – har vi oppnådd markante presisjonsforbedringer, uten å utsette modellen for overtilpasning (overfitting) eller redusert sensitivitet (recall).

Modellen er validert på et fastfrosset testsett (holdout-sett) bestående av 50 002 representative utdrag fra norske studentoppgaver, holdt fullstendig adskilt fra treningsgrunnlaget. På dette datasettet feilklassifiserer den nye modellen kun 2 av 50 002 tekster (0,0040 %) som maskingenerert. Til sammenligning hadde forrige produksjonsversjon (v3, basert på konsensusavstemning) 23 feilklassifiseringer (0,046 %) på samme grunnlag – en presisjonsforbedring på mer enn det tidobbelte.

Verifiserte resultater per tekstkategori fra samme evalueringsprotokoll (utelukkende usette testdata):

Vi har bevisst valgt ikke å oppgi et samlet, aggregert gjennomsnittstall for falske positive. Ettersom studentoppgavesettet utgjør det største volumet, ville et felles gjennomsnitt maskere reelle variasjoner i krevende sjangre som studentjournalistikk og meningsbærende debattartikler. Full metodisk åpenhet per kategori gir et vesentlig mer etterrettelig beslutningsgrunnlag for akademiske miljøer og institusjoner.

Hva gjelder sensitivitet overfor faktisk maskingenerert tekst (likeledes holdt utenfor treningssettet), ble 210 av 212 (99,1 %) dokumenter fra et mangfold av språkmodeller korrekt identifisert. For tekster som i tillegg var bearbeidet med kommersielle omgåelsesverktøy («humanizers»), ble 134 av 140 (95,7 %) likevel korrekt flagget som maskinpåvirket.

Sekundærmodellen for lokalisering av modifiserte avsnitt er under kontinuerlig videreutvikling. For å opprettholde vitenskapelig etterrettelighet publiseres tall for denne modulen først når fullskala validering etter gjeldende protokoll foreligger.

Akademisk integritetsarbeid fordrer full åpenhet om metodiske begrensninger. Sekundærmodellen for lokalisering av avgrensede redigerte tekstpartier er under aktiv utvikling og har kjente, dokumenterte utfordringer: Deteksjon av svært korte, isolerte AI-endringer i lengre tekster krever ytterligere kalibrering, og modellen kan i enkelte formelle sjangre (eksempelvis standardisert nyhetsjournalistikk) vise forhøyet sensitivitet for stilistiske fellestrekk. Dette er et internasjonalt anerkjent forskningsproblem som berører hele fagfeltet. Vi fører en restriktiv linje og publiserer først produksjonstall for denne funksjonaliteten når den tilfredsstiller våre strenge presisjonskrav.

Utviklingsarbeidet er forankret i og bygger videre på følgende fagfellevurderte publikasjoner og tekniske bidrag:

• Pangram Labs: Teknisk dokumentasjon for Pangram 4-arkitekturen (prediksjon på token-nivå, vindusbasert analyse og motstandsevaluering)
• DAMASHA-rammeverket: Segmentering og grensedeteksjon i hybridtekst ved bruk av Info-Mask og CRF-arkitektur
• SemEval 2024: Oppgavefellesskap for grensedeteksjon i sammensatt menneske- og AI-tekst
• Zhang, Qin & Plummer (2024): Machine-Generated Text Localization, Boston University
• Zhu et al. (2025): Reliably Bounding False Positives: A Zero-Shot Machine-Generated Text Detection Framework via Multiscaled Conformal Prediction, ACL 2025