Hoe werkt een AI-detector?

Het basisprincipe: taalmodellen voorspellen

Eerst moet je begrijpen hoe AI-taalmodellen (zoals ChatGPT, Gemini, Claude) werken. Ze zijn getraind op miljarden menselijke tekstvoorbeelden. Ze hebben geleerd welk woord waarschijnlijk volgt op welk ander woord.

Als je ChatGPT vraagt iets te schrijven, kiest het model steeds het woord dat statistisch gezien het meest waarschijnlijk is. Dat kling logisch, maar daar zit het probleem al: menselijke schrijvers kiezen vaak juist het minder waarschijnlijke woord – dat is wat kreativiteit is.

AI-tekst voelt vaak glad en voorspelbaar omdat het model de statistisch gemakkelijkste weg kiest. Menselijke tekst heeft meer onverwachtse wendingen, idioom, en emotie.

Perplexiteit: hoe verrassend is de tekst?

Perplexiteit is de sleutel tot AI-detectie. Dit is een maat voor hoe 'verrassend' of 'onverwacht' een tekst voor een taalmodel is.

Hoge perplexiteit = veel onverwachte, ongebruikelijke woordkeuzes = waarschijnlijk menselijke tekst

Lage perplexiteit = voorspelbare, vanzelfsprekende woordkeuzes = waarschijnlijk AI-gegenereerd

Praktisch voorbeeld:

• Menselijke schrijver: "Het rapport was tamelijk tegenstrijdig, vooral waar het ging om de financiële projecties." (onverwachte woordvolgorde)
• AI-gegenereerd: "Het rapport bevat tegenstrijdige informatie, vooral over de financiële projecties." (glad en standaard)

Detectoren gebruiken perplexiteit-modellen om te meten: hoe verrassend is elk woord in deze tekst? Gemiddeld, is dat patroon meer menselijk of meer AI?

Dit is veel nauwkeuriger dan naar 'bots-taal' zoeken. Detectoren zijn niet op zoek naar typische AI-woorden, maar naar statistieken.

Burstiness: variatie in zinslengte

Burstiness is een ander patronen: hoe varieert zinslengte en ritme?

Menselijke schrijvers: wisselen spontaan tussen korte scherpere zinnen en lange, complexe zinnen. Je krijgt 'bursts' van variatie.

AI-gegenereerd: neiging naar meer uniforme zinslengte, iets monotoner ritme.

Voorbeeld:

• Menselijk: "Het was een ramp. Alles stortte in. Maar ik begreep niet goed waarom de directie precies deze keuze had gemaakt, gegeven alle voorbesprekingen over de strategie."
• AI: "Het was een ramp omdat alles ingestort en het management deze beslissing maakte vanwege voorbesprekingen over strategische richtlijnen."

Detectoren analyseren dus ook: hoe varieert de zinslengte? Menselijke schrijven hebben meer 'bursts' van variatie.

Hoe trainen AI-detectoren zelf?

Detectoren (zoals GPTZero, Originality.ai, Winston AI) zijn zelf AI-modellen die getraind zijn op:

• Echt menselijke teksten: essays, artikelen, boeken, forum-posts, etc.
• AI-gegenereerde teksten: tekst van ChatGPT, GPT-4, Claude, Gemini, etc.

Ze leren: "Wanneer ik perplexiteit en burstiness zo zie, is het meestal AI. Wanneer ik dit patroon zie, meestal menselijk."

Belangrijk: detectoren worden voortdurend bijgewerkt, omdat AI-modellen zelf beter worden. Een detector die vandaag nauwkeurig is, kan volgende maand verouderd zijn.

Watermerken: alternatief voor detectie

Er is ook een ander pad: watermerken in AI-gegenereerde tekst inbouwen.

SynthID (van Google) en C2PA (Content Authenticity Initiative) voegen subtiele 'handtekeningen' toe aan AI-tekst die onzichtbaar voor mensen maar detecteerbaar voor machines zijn. Dit is in theorie beter dan detectie, omdat het echt onmogelijk is te omzeilen.

Maar: watermerken werken alleen als:

• Alle AI-systemen ze implementeren (wat nog niet het geval is)
• Je het originele watermerk-verificatiesysteem hebt (niet altijd beschikbaar)

Tot nu toe zijn watermerken nog niet wijdverbreid. Detectie blijft voor nu het praktische antwoord.

Waarom falen detectoren?

AI-detectie is niet waterdicht. Hier zijn de grote blinde vlekken:

1. Bewerkte AI-tekst
Als iemand ChatGPT-tekst aanpast, omschrijft, en herschrijft – voegt het hand-editing toe – wordt het moeilijker te detecteren. Sommige detectoren zien het nog, maar niet allemaal.

2. Niet-Engelse taal
De meeste detectoren zijn getraind op Engels. Nederlandse, Duitse of Franse tekst? Veel minder betrouwbaar. Detectoren zijn noch minder goed met talen die niet-Latijns schrift gebruiken.

3. Korte teksten
Een paar zinnen of een tweet? Je hebt veel woorden nodig voor goede statistieken. Korte fragmenten geven veel false positives en false negatives.

4. Vertalingen en parafrasen
Tekst die door een andere AI is vertaald of samengevat? Detectoren zien het als menselijk, omdat het patroon veranderd is.

5. Hybride tekst (mix menselijk + AI)
Als een student 50% zelf schrijft en 50% ChatGPT-gegenereerde passages invoegt, raken veel detectoren in de war. Ze geven misschien 40% AI (lager dan de werkelijkheid).

Valse positieven: wie loopt risico?

Een foutpositief (false positive) is wanneer detectoren menselijke tekst markeren als AI.

Wie loopt het meeste risico op onterechte beschuldigingen?

• Niet-moedertaalsprekers: schrijven soms glad en voorspelbaar omdat ze voorzichtig kiezen uit geleerde patronen
• Eenvoudige schrijvers: mensen die bewust minimaal schrijven (korte, duidelijke zinnen) zonder flou
• Specialisten met veel jargon: vaktaal is soms statistisch voorstelbaar, dus lijkt meer op AI
• Mensen met dyslexie of schrijfmoeilijkheden: schrijven anders, kan als 'AI-patroon' voelen

Dit is waarom detectoren nooit als enig bewijs gebruikt mogen worden. Een docent moet altijd context meenemen: "Is dit in stijl voor deze student? Heb ik hints van plagiaatdetectie ook?"

Detectie vs. plagiaatcontrole: wat is het verschil?

AI-detectie kijkt naar: is deze tekst door AI geschreven?

Plagiaatdetectie kijkt naar: is deze tekst geleend van iemand anders (mens of AI)?

Deze zijn heel anders! Je kunt AI-gegenereerde tekst hebben die uniek is (geen plagiaat). En je kunt menselijke tekst hebben die gekopieerd is.

Serieuzere tools (Originality.ai, Turnitin) controleren allebei. Eenvoudigere detectoren (GPTZero, Scribbr) focussen vooral op AI-detectie.

Lees het artikel AI-detectie vs. plagiaatcontrole voor meer nuance.

Waarom verschillen AI-detectoren zo veel?

Elke detector gebruikt ander trainingsdata en andere statistische methoden. Daarom geeft ene tool 'AI' en ander 'menselijk' voor dezelfde tekst.

Dit is normaal. Detectie is geen exacte wetenschap – het is waarschijnlijkheid.

Lees meer: Waarom verschillen AI-detectoren zoveel in hun scores?

Wat je hieruit kunt onthouden

• AI-tekst voelt glad omdat AI de statistisch waarschijnlijkste woorden kiest
• Detectoren meten perplexiteit en burstiness – patronen in woordkeuze en zinslengte
• Ze zijn getraind op menselijke vs. AI-tekst-datasets
• Ze zijn niet waterdicht: bewerkte tekst, niet-Engels, en korte fragmenten vallen door de mand
• Watermerken (SynthID, C2PA) zijn theoretisch beter, maar nog niet wijdverbreid
• Valse positieven treffen niet-moedertaalsprekers en minimalistische schrijvers hardst
• Detectie mag nooit als enige bewijs gebruiken – altijd context erbij