Wanneer AI je onterecht beschuldigt

Nu er zoveel teksten door AI worden gemaakt, kan een AI-detectortool zoals GPTZero, Copyleaks of Winston AI als een uitkomst voelen. Zelfs scholen gebruiken zulke detectoren steeds vaker, met name het Amerikaanse Turnitin AI. Maar wat doe je als ouder of opvoeder wanneer je kind ervan wordt beschuldigd AI te hebben gebruikt, terwijl je daar zelf niet van overtuigd bent?

Deze tools hebben namelijk een groot probleem: ze zijn ontzettend onnauwkeurig. Het zijn geen simpele woordvergelijkers, maar patroonherkenners die zijn getraind op grote hoeveelheden door AI en door mensen geschreven tekst. Taalmodellen zoals ChatGPT zijn slimme autocomplete-tools die het meest logische volgende woord voorspellen en daardoor kleine, systematische vertekeningen vertonen.

Zulke vertekeningen zitten ook in basale dingen, zoals het vaker gebruiken van het woord “complex” in plaats van “ingewikkeld” in gegenereerde tekst. AI-detectoren proberen dit soort patronen te herkennen, maar wat als een leerling toevallig precies dezelfde schrijfstijl heeft als ChatGPT?

Dat probleem kan extra groot zijn bij leerlingen die van nature een afwijkend of sterk herkenbaar schrijfpatroon hebben. Denk bijvoorbeeld aan leerlingen met dyslexie, een vorm van autisme of leerlingen die thuis een andere taal spreken. Zij kunnen bepaalde woorden of patronen vaker gebruiken en daardoor een "standaard" taalpatroon hebben. Een patroonherkenner kan zo’n schrijfstijl ten onrechte interpreteren als een aanwijzing voor AI-gebruik. Juist bij leerlingen die al sneller anders worden beoordeeld op hun taalgebruik, kan zo’n detector daardoor grote gevolgen hebben.

Een bekend voorbeeld is de Amerikaanse Declaration of Independence uit 1776. ZeroGPT beoordeelde deze tekst voor maar liefst 97,93% als door AI gegenereerd. Ik denk niet dat de Founding Fathers van Amerika in die tijd wifi hadden, laat staan ChatGPT. 😊

Door het gebruik van deze tools kunnen leerlingen dus onterecht worden beoordeeld. Bovendien zijn detectoren relatief makkelijk te omzeilen met een AI-humanizer. Zelfs het vastleggen van het schrijfproces helpt niet altijd: dat proces kan binnen enkele seconden worden nagebootst met tools zoals Duey.ai.

Anthropic pakt dit probleem inmiddels anders aan: sinds kort gebruikt het bedrijf een onzichtbaar statistisch watermerk in tekst die Claude genereert, onder meer om te voldoen aan de Europese AI Act. Toch is ook dit geen wondermiddel: het bevestigt niet dat een tekst door een mens is geschreven en kan alsnog verdwijnen wanneer de tekst wordt herschreven of door een humanizer wordt gehaald.

De Declaration of Independence die voor 97,93% AI-gegenereerd zou zijn en de humanizer-tools die detectoren soms binnen seconden om de tuin kunnen leiden, laten zien hoe onbetrouwbaar deze detectoren zijn. En wanneer een systeem bovendien vooral patronen herkent, bestaat het risico dat juist leerlingen met een afwijkende of herkenbare schrijfstijl extra snel verdacht worden.

Dit vraagt iets moeilijks van docenten, maar ook iets noodzakelijks van ouders en opvoeders: wanneer je kind van AI-gebruik wordt verdacht, ga dan niet blind af op wat een detector zegt. Vraag naar het schrijfproces, kijk naar het werk zelf en houd rekening met de manier waarop een leerling normaal gesproken schrijft. Een percentage uit een AI-detector is geen bewijs. Laat de feiten zwaarder wegen dan een algoritmische inschatting.