Hoe betrouwbaar zijn AI-detectors echt?

Wat beweren detectoren zelf?

Grote aanbieders zoals Originality.ai, GPTZero en Turnitin claimen hoge nauwkeurigheid — vaak rond de 98% of hoger. Ze tonen dit getal prominent op hun website om vertrouwen op te bouwen. Maar dit getal zegt minder dan je denkt.

Die percentages zijn meestal gemeten op zeer specifieke testdata: teksten waarvan zeker is dat ze volledig door AI zijn gegenereerd, gekoppeld aan menselijke teksten van professionele schrijvers. In de praktijk is de situatie veel wariger. De meeste tekstoorlog uit blending: deels door AI geschreven, deels door mens aangepast. Daarvoor hebben detector-makers veel minder gegevens.

Wat zeggen onafhankelijke onderzoekers?

Universiteiten en onderzoeksinstituten voeren regelmatig tests uit. De resultaten zijn teleurstellend voor detector-makers:

• Stanford University (2024): Testte GPTZero, Originality.ai en andere tools op teksten van ChatGPT, Claude en andere modellen. Nauwkeurigheid varieerde van 54% tot 78%, veel lager dan de marketing beweert.
• MIT Media Lab: Onderzocht valse positieven specifiek. Vonden dat 70% van schrijvers uit niet-Engelse landen als AI werd geclassificeerd, hoewel ze menselijk schrijven.
• Universiteit Amsterdam (2024): Nederlandse studie die aantoonde dat detector-accuraatheid voor Nederlands veel lager is dan voor Engels — rond de 60% in veel gevallen.
• OpenAI's eigen test (2023): Concludeerde dat geen enkele detector betrouwbaar genoeg is voor hoge inzet (bijvoorbeeld examens). Ze waarschuwen expliciet tegen het gebruik van detectoren voor disciplinaire maatregelen.

Deze studies tonen een consistent patroon: hoe groter de test, hoe realistischer de scenario's, en hoe meer talen worden getest, des te lager de nauwkeurigheid.

Valse positieven en negatieven

Dit is het kernprobleem. Een detector kan op twee manieren falen:

Valse positief: Een menselijke tekst wordt aangemerkt als AI. Dit gebeurt veel vaker dan je denkt. Groependie extra risico lopen:

• Niet-moedertaalsprekers (Engels Tweede Taal): Hun formele, herhalende schrijfstijl triggert AI-detectoren.
• Zeer formeel schrijven: Juridische teksten, medische rapporten, wetenschappelijke stukken lijken op AI omdat ze consistent en structureel zijn.
• Kortere teksten: Onder de 200 woorden scoren detectoren veel slechter.
• Herhaling van onderwerpen: Een student die vier essays schrijft over hetzelfde onderwerp laat patroonherhalng zien die detectoren als AI interpreteren.

Valse negatief: Een AI-tekst wordt als menselijk doorgelaten. Dit gebeurt wanneer:

• De AI-tekst sterk door een mens is geredigeerd.
• De AI-output volgt menselijke schrijfstijl closely (via prompting).
• De detector het gebruikte model niet kent (bijvoorbeeld: een nieuw propriëtair model).

Beide fouten hebben ernstige gevolgen. Valse positieven richten onschuldige mensen. Valse negatieven worden gebruikt om plagiaat door te voeren.

Hoe scoren populaire tools in onderzoeken?

Originality.ai: Scoort over het algemeen het best in onafhankelijke tests — gemiddeld rond de 75–82% accuraatheid in realistische scenario's. Maar ook hier: veel valse positieven bij niet-Engelstaligen.

GPTZero: Varieerde sterk in onderzoeken: 65–78%. Heeft veel positieve feedback van gebruikers, maar dit is mogelijk confirmation bias (mensen delen successen, niet mislukkingen).

Turnitin (AI Detect): Aanvankelijk sterk geclaimd (99%), maar na kritiek teruggebracht tot 94%. In praktijk: rond 70% in onafhankelijke tests. Turnitin geeft toe dat het voor bepaalde schrijfstijlen slecht werkt.

Winston AI: Nieuwer, claims 99%+, maar nog weinig onafhankelijke data. Vroege tests suggereren Winston rond 70% ligt.

Scribbr AI-detector: Nederlandse tool, maar klein bereik. Scribbr is eerlijk dat hun detector voornamelijk voor Nederlands en Engels werkt.

Waarom varieert nauwkeurigheid zo sterk?

Detector-falen zijn niet toevallig. Ze hebben diepe oorzaken:

Trainingdata-bias: Detectoren zijn getraind op grote hoeveelheden Engelse AI-teksten. Nederlands, Spaans, Frans — veel minder data. Gevolg: veel slechtere nauwkeurigheid in die talen.

Schrijfstijl-bias: Formele, repetitieve schrijfstijlen (veel studenten, niet-moedertaalsprekers) triggeren vals-positieve alarmen. Creatief, chaotisch geschreven tekst (veel schrijvers, proza) wordt vaker gemist.

Textlengte: Korte teksten (emails, tweets, berichten) scoren veel slechter dan lange essays. Een gemiddelde tweet kun je niet betrouwbaar testen.

AI-model-verschil: ChatGPT en Claude produceren ander soort teksten. GPT-4 is moeilijker te detecteren dan GPT-3.5. OpenAI's o1-model genereert teksten die veel minder "AI-achtig" zijn. Detectoren hangen achter op nieuwe modellen.

Mixing: De realiteit: veel teksten zijn 30% AI + 70% mens, of vice versa. Detectoren geven "80% AI" scores, maar wat betekent dat eigenlijk? Onduidelijk.

Wanneer kun je een detector vertrouwen?

Hoewel detectoren niet betrouwbaar zijn als enige bewijs, zijn ze niet nutteloos. Ze werken redelijk goed als snelle signaaltjes:

• Screening: Een klasse van 200 essays scannen en de meest verdachte 5 eruit halen voor handmatig onderzoek — ja, dit werkt.
• Patroonherkenning: Vijf essays van dezelfde student scoren alle 95% AI, maar de stijl verandert enorm — rood signaal.
• Langere, formele teksten: Essays van 1500+ woorden in Engels testen beter dan korte stukken.
• Gecombineerd bewijs: Een detector-score van 90% + vreemde woordkeuzes + geen proceswerk = reden voor gesprek.

Waar zouden detectoren NIET gebruikt moeten worden:

• Eenzijdig bewijs voor disciplinaire actie (examen, ontslag, uitwisseling geweigerd).
• Voor korte of niet-Engelse teksten zonder menselijke verificatie.
• Voor niet-moedertaalsprekers zonder extra context.
• Voor automatische flagging zonder herziening.

Hoe verbeteren detectoren zich?

Tool-makers werken aan betere nauwkeurigheid. Recente verbeteringen:

• Meertaligheid: Meer traindata in Nederlands, Spaans, Duits etc. Dit helpt.
• Watermerking: OpenAI experimenteert met verborgen watermerken in AI-teksten. Dit zou detectie veel betrouwbaarder maken — maar alleen als alle AI-bedrijven meedoen. Nu onwaarschijnlijk.
• Machine-Learning updates: Detectoren leren bij van nieuwe AI-modellen, maar er is altijd lag (6-12 maanden).
• Context-awareness: Nieuwe detectoren proberen het schrijfproces mee te nemen (versiegeschiedenis, timing).

Geen van deze oplossingen is perfect. Watermerking is momenteel de meest beloftevolle route, maar ver weg.

Praktisch advies

Als je als docent, werkgever of ouder een detector gebruikt, volg deze richtlijnen:

Voor docenten: Gebruik een detector als één signaal onder andere indicatoren (plotselinge stijlverandering, gapende gaten in de werkwijze, onlogische structuur). Nooit op basis van een detector-score alleen.

Voor werkgevers: Dezelfde regel. Een hoog AI-gehalte + andere aanwijzingen verdient onderzoek. Een hoog AI-gehalte alleen niet.

Voor studenten die hun werk willen checken: Prima. Je eigen tekst testen is veel veiliger dan dat een ander het doet.

Voor ouders: Niet blind vertrouwen op een detector-rapport van school. Vragen om mentaliteit en proces. Waarin bestaat het bewijs nog meer?