Waarom ChatGPT niet waarschuwt als het twijfelt

ChatGPT waarschuwt niet betrouwbaar als het twijfelt, want zekere en onzekere informatie komen in dezelfde toon uit het model. Er zit geen interne meter die aangeeft “dit weet ik zeker” tegenover “dit heb ik ingevuld”. De vuistregel die daaruit volgt: hoe specifieker en hoe beter verifieerbaar een claim is, hoe harder je controleert.

Drie categorieën vragen daarom altijd een controle voordat je ze gebruikt:

• cijfers en statistieken, zeker als er geen bron bij staat
• namen van personen, organisaties en producten
• verwijzingen naar wetgeving, artikelnummers, jaartallen en data

Bij hoge-impactbeslissingen verifieer je sowieso via een primaire bron. Gebruik ChatGPT bij feitelijke vragen als startpunt, niet als eindpunt.

💡 Praktijktip: vraag “hoe zeker ben je van dit antwoord en welk deel heb je afgeleid in plaats van geweten?”. Het model markeert dan vaak de zwakke plekken zelf. Dat is geen garantie, wel een snelle eerste zeef.

Hetzelfde onderwerp, twee verschillende vragen

Hetzelfde onderwerp levert totaal verschillende betrouwbaarheid op, afhankelijk van wat je vraagt. Stel, je vraagt ChatGPT naar de belangrijkste wijzigingen in de Arbeidstijdenwet.

Je krijgt een keurig gestructureerd antwoord met drie punten, inclusief artikelnummers en data. Het leest alsof het zo uit een juridische nieuwsbrief komt. Controleer je de genoemde artikelnummers, dan blijkt er minstens één niet te bestaan. Het model heeft een plausibel klinkend artikelnummer gegenereerd, omdat dat past bij het patroon van hoe wetswijzigingen worden beschreven.

Vraag je vervolgens om je eigen bestaande samenvatting van diezelfde wijzigingen te herschrijven in heldere taal voor een interne nieuwsbrief, dan krijg je iets heel anders. Nu hoeft het model geen feiten te bedenken. Het herformuleert jouw tekst, en daar is het uitzonderlijk goed in.

Het verschil zit in wat je vraagt. In het eerste geval vraag je om kennis. In het tweede geval vraag je om taalvaardigheid. ChatGPT heeft alleen dat tweede. Dat is de techniek uit deze proefles: lever de feiten zelf aan en laat het model het werk doen waar het wel goed in is.

💡 Praktijktip: kun je een taak herformuleren van “vertel mij X” naar “doe iets met deze X die ik aanlever”, doe dat dan altijd. Je verplaatst het risico van het model naar je eigen bronmateriaal, waar je het kunt controleren.