ChatGPT begrijpt er helemaal niets van

Oké, inmiddels is dus wel duidelijk ChatGPT je schoolverslagen kan schrijven, je website teksten en je complete bedrijfsstrategie. Gaaf hoor. In plaats van kennis over een onderwerp te krijgen, hoef je nu ‘alleen’ nog maar te leren hoe je een goede opdracht voor een AI taalmodel schrijft*. Maar wat zegt dat eigenlijk over ons, dat we ons zo makkelijk om de tuin laten leiden? En dat we liever vertrouwen op taalkundige kansberekening dan op echt nadenken?

ChatGPT is niets meer dan kansberekening

ChatGPT heeft geen idee van wat je schrijft, nog van wat er als reactie op wordt teruggegeven. Wat het GPT-3 taalmodel achter ChatGPT doet is in feite niets meer dan statistiek; op basis van een immens complexe formule waar een onvoorstelbare hoeveelheid tekst doorheen is gegaan voorspelt ChatGPT welk volgend woord het meest waarschijnlijk is. En om de geproduceerde teksten mooier te maken, wordt een klein scheutje toeval aan toegevoegd; het taalmodel gebruikt niet altijd het meest waarschijnlijke woord. Af en toe kiest het model willekeurig een woord dat net iets minder waarschijnlijk is. Zodat een tekst voor bijvoorbeeld 80% uit de statistisch meest aannemelijke keuzes bestaat. Dit noemen we dan een ‘temperatuur’ van 0,8. In een schitterende blog van Stephen Wolfram kun je lezen dat op basis van ervaring, zonder theoretische onderbouwing, is gebleken dat een temperatuur van 0,8 ongeveer ideaal is. De teksten kloppen en zijn net onvoorspelbaar genoeg in variatie om menselijk te lijken.

ChatGPT is geen bedreiging voor het onderwijs

ChatGPT geeft dus allerlei antwoorden en adviezen, zonder ook maar enig benul te hebben van wat er gevraagd wordt. Zonder enig begrip van de materie waar je over vaagt en zonder ook maar enig begrip van wat het nu eigenlijk zegt. Dit zal niet iedereen verbazen. We kennen uiteindelijk bijna allemaal wel een mens die zonder enig verstand van zaken allerlei indrukwekkend ogende woorden op papier neerkwakt en dat dan een advies of beleidsstuk noemt.
Docenten die zich zorgen maken over verslagen die nu door ChatGPT worden geschreven en niet door leerlingen zouden zich eens achter de oren moeten krabben over de methode waar ze al die jaren op hebben vertrouwd. Want het is een feit dat ChatGPT het eigen verslag niet begrijpt. En het is dus ook een feit dat je een goed cijfer kunt krijgen voor een verslag over een onderwerp waar je niet van begrijpt. Dus wat hebben al die docenten al die jaren dan eigenlijk gemeten? Legt ChatGPT niet eerder een tekortkoming in het onderwijs bloot, dan dat het er een bedreiging voor vormt? De huidige meetmethodiek meet blijkbaar alleen of je de juiste (op te zoeken) woorden in een grotendeels logische volgorde weet te plaatsen. Het meet niet of je ook echt de kennis hebt waarvoor je een cijfer krijgt.

Toeval en schijn-creativiteit

Nou ja. Wellicht meer verrassend dan dat je ergens kloppende teksten over kunt maken zonder begrip van het onderwerp, is dat teksten ‘beter’ worden (of: ‘natuurlijker overkomen’) wanneer er randomness wordt toegepast. Creativiteit door toevoeging van een vleugje (idealiter 20%) toeval. De output van ChatGPT is niet volledig voorspelbaar doordat er toeval is voorgeprogrammeerd. Schijn-creativiteit dus. En juist die onvoorspelbaarheid maakt de output menselijker. Mensen geven dus de voorkeur aan een statistisch sub-optimaal resultaat boven de ideale uitkomst.

ChatGPT is voor intelligentie wat social media zijn voor contact

Elk antwoord dat ChatGPT geeft is een mix van statistische voorspelbaarheid en voorgeprogrammeerd toeval. Je krijgt antwoorden zonder begrip. Dergelijke Large Language Models zijn voor intelligentie, wat social media zijn voor menselijk contact; een verslavend, potentieel schadelijk surrogaat. Wanneer je van ChatGPT een voorgebakken antwoord krijgt dat ook op echte wijsheid lijkt, waarom zou je dan eigenlijk nog de moeite doen om zelf na te denken?
En omdat alles wat ChatGPT lijkt te weten is gebaseerd op alles wat er al was en het daar zelf niets aan toe kan voegen, anders dan toeval, zal er van ChatGPT nooit vooruitgang komen. ChatGPT snapt niet welk idee nieuw is, welk idee een verbetering is, of wat een wenselijke ontwikkeling is. ChatGPT snapt niks, helemaal niks.
Zo moeten we het dan ook benaderen, als een extreem geavanceerd stuk gereedschap. Net als destijds het internet, gaan AI taalmodellen de wereld veranderen op manieren die we nu nog niet eens kunnen bedenken. Maar we zullen zelf moeten blijven denken, creëren, innoveren en verbeteren.

Dus als je schrijfwerk over wil laten aan ChatGPT, dan kan dat alleen als het niet echt belangrijk is dat de schrijver de materie begrijpt. En als creativiteit voor jouw schrijfwerk, of het nu een webtekst, beleidsstuk of strategische visie is, niet nodig is.
Maar als aan die beide randvoorwaarden is voldaan, dan is jouw schrijfwerk eerlijk gezegd al bij voorbaat zinloos en overbodig.

*Prompts

Er word nogal makkelijk overheen gestapt hoe je er voor kan zorgen dat ChatGPT ook datgene produceert wat je wil hebben. Een goede prompt (opdracht) schrijven blijkt nog niet eenvoudig. En we moeten niet overschatten hoeveel mensen daar uiteindelijk toe in staat blijken. Geen overbodige luxe om hier middels onderwijs in te investeren.
De hoogte van je IQ alleen is niet allesbepalend. Ik heb de afgelopen jaren wel zo vaak meegemaakt dat allerlei op hoog niveau functionerende academici niet in staat bleken om een goede zoekopdracht te formuleren voor Google dat ik daar geen vertrouwen meer in heb.

Ondanks wat al die ultrakorte ‘how to’s’beloven, heb je in sommige gevallen bijna een AI bot nodig om je te helpen een goede prompt te schrijven om een andere AI bot te laten doen wat je eigenlijk wil.

Afbeelding gegenereerd door open.ai/images op basis van de tekst van deze blog