Deep Learning & neurale netwerken: de kracht achter ChatGPT

Ik vind het geweldig om te begrijpen hoe iets werkt. Niet alleen dat het werkt — maar hoe. Waarom een motor draait. Waarom een algoritme het ene resultaat geeft en niet het andere. Waarom ChatGPT zinnen schrijft die kloppen, terwijl het niet denkt. Dat soort vragen drijft me. En eerlijk gezegd: als je niet begrijpt hoe de technologie werkt die je dagelijks gebruikt, bouw je op drijfzand.

ChatGPT schrijft alsof het denkt. Het formuleert zinnen die kloppen, beantwoordt complexe vragen, en kan zelfs een redelijk overtuigend gedicht schrijven over je kat. Maar hier is het ding: het denkt niet. Niet een beetje. Helemaal niet.

En toch voelt het wel zo, toch? Toen ik voor het eerst met GPT-4 aan de slag ging — de nieuwste versie die sinds kort beschikbaar is — was mijn eerste reactie: dit ding begrijpt me. Maar dat is een illusie. Een briljante illusie, gebouwd op decennia aan wiskundig onderzoek, maar een illusie niettemin.

In dit artikel neem ik je mee achter het gordijn. Want als je begrijpt hoe deep learning en neurale netwerken werken — de technologie achter ChatGPT, Claude, en alle andere AI-tools die je dagelijks gebruikt — dan verdwijnt de magie. En verschijnt iets veel beters: begrip. En begrip is waar goede beslissingen beginnen.

In mijn vorige artikel over machine learning legde ik uit hoe computers leren van data. Vandaag gaan we een laag dieper. Letterlijk.

Van machine learning naar deep learning

Even terugspoelen. Machine learning is het brede vakgebied: computers die patronen leren herkennen in data. Je geeft een systeem duizenden foto's van katten en honden, en na een tijdje kan het zelf het verschil zien. Dat is machine learning in een notendop.

Deep learning is een specifieke vorm van machine learning. Het "deep" slaat niet op diepe gedachten — het slaat op de diepe structuur van het systeem. Meerdere lagen, gestapeld op elkaar, die elk een stukje van het probleem aanpakken. Als je in systemen denkt — en dat doe ik — dan zie je direct de architectuur: elk niveau heeft een eigen verantwoordelijkheid, en samen vormen ze iets dat groter is dan de som der delen.

Maar om te snappen wat die lagen doen, moeten we eerst even praten over het kleinste bouwblokje: het neuron.

Het kunstmatige neuron: simpeler dan je denkt

In de jaren '50 — 1958 om precies te zijn — bedacht de Amerikaanse psycholoog Frank Rosenblatt iets dat hij de Perceptron noemde. Het was het allereerste kunstmatige neuron. En het was verbazingwekkend simpel.

Een neuron doet eigenlijk maar drie dingen:

1. Het ontvangt informatie (getallen, signalen, data)
2. Het vermenigvuldigt elk stukje informatie met een gewicht (hoe belangrijk is dit?)
3. Het telt alles op en besluit: vuur ik wel of niet?

Dat is het. Serieus. Een kunstmatig neuron is in essentie een heel simpele wiskundige functie. Het neemt input, weegt die, en geeft een ja of nee.

Vergelijk het met hoe jij besluit of je een paraplu meeneemt. Je kijkt naar de lucht (input 1), je checkt de weersvoorspelling (input 2), je voelt aan de temperatuur (input 3). Sommige inputs wegen zwaarder dan andere — als het al regent, maakt de voorspelling niet meer uit. Je combineert alles en besluit: paraplu mee of niet.

Een enkel neuron is niet indrukwekkend. Rosenblatt's Perceptron kon simpele patronen herkennen, maar faalde bij alles wat een beetje complex werd. Onderzoekers waren teleurgesteld. AI leek een doodlopende weg.

Maar dan: wat als je die neuronen combineert?

Van neuron naar netwerk: de sandwich van experts

Hier wordt het interessant. Stel je voor dat je een team hebt van tientallen experts. Elk van hen is specialist in precies een ding. De een herkent rechte lijnen. De ander herkent ronde vormen. Weer een ander herkent kleurverschillen. Nog een ander herkent texturen.

Individueel kan geen van hen een foto van een kat herkennen. Maar als je ze samenwerkt — als de lijnherkenner zijn bevindingen doorgeeft aan de vormherkenner, die het doorgeeft aan de textuurherkenner — dan kan het team samen tot een conclusie komen: dit is een kat.

Dat is precies hoe een neuraal netwerk werkt. Je stapelt lagen van neuronen op elkaar:

• Invoerlaag: ontvangt de ruwe data (pixels van een afbeelding, letters van een tekst)
• Verborgen lagen: verwerken en combineren informatie, elke laag op een hoger abstractieniveau
• Uitvoerlaag: geeft het antwoord (kat of hond, positief of negatief, het volgende woord)

Ik noem dit graag de sandwich van experts. De onderste laag ziet de details — individuele pixels, letters, klanken. Elke volgende laag combineert die details tot steeds grotere patronen. Randen worden vormen. Vormen worden objecten. Objecten worden scenes. Letters worden woorden. Woorden worden zinnen. Zinnen worden betekenis.

En "deep" learning? Dat slaat simpelweg op het aantal verborgen lagen. Een netwerk met twee verborgen lagen is "ondiep". Een netwerk met tientallen of honderden lagen is "diep". En hoe dieper het netwerk, hoe complexere patronen het kan herkennen.

Dit is wat ik bedoel met architectuur. Net als bij het bouwen van een gebouw: de fundering draagt de muren, de muren dragen het dak. Als je de lagen verkeerd stapelt, stort het in. Bij neurale netwerken is dat net zo — de architectuur bepaalt alles.

Hoe leert zo'n netwerk? Backpropagation uitgelegd

Goed, je hebt een netwerk van duizenden neuronen in tientallen lagen. Maar hoe leert het? Hoe weet het dat het de gewichten moet aanpassen?

Het antwoord heet backpropagation — terugpropagatie — en het is een van de belangrijkste ontdekkingen in de geschiedenis van AI. Het principe is eigenlijk verrassend menselijk.

Stel je voor dat je leert darten. Je gooit, en je mist. Je kijkt waar de dart terechtkwam: te hoog en te veel naar links. Die informatie — je fout — gebruik je om je volgende worp bij te stellen. Na honderd worpen gooi je steeds dichter bij de roos.

Backpropagation doet precies hetzelfde, maar dan door het hele netwerk heen. Het werkt zo:

1. Data gaat door het netwerk (van invoer naar uitvoer)
2. Het netwerk geeft een antwoord
3. Dat antwoord wordt vergeleken met het juiste antwoord
4. De fout wordt berekend
5. Die fout wordt teruggestuurd door alle lagen (vandaar "back"propagation)
6. Elk neuron past zijn gewichten een tiny beetje aan om de fout te verkleinen

Dit gebeurt niet een keer. Het gebeurt miljoenen keren. Met miljoenen voorbeelden. En elke keer worden de gewichten een fractie beter afgesteld. Na genoeg rondes — en met genoeg data — kan het netwerk patronen herkennen die voor mensen onzichtbaar zijn.

Van beeldherkenning naar taal: de opkomst van CNN's

Voordat we bij ChatGPT komen, een korte tussenstop. In de jaren '90 en 2000 werden neurale netwerken vooral groot in beeldherkenning, dankzij een speciaal type netwerk: het Convolutional Neural Network, of CNN.

CNN's zijn ontworpen om afbeeldingen te begrijpen. Ze werken met kleine filtertjes die over een afbeelding schuiven — als een vergrootglas dat systematisch elke vierkante centimeter van een foto bekijkt. Eerst vindt het randen en lijnen. Dan combineert het die tot vormen. Dan tot objecten. Het is de sandwich van experts in actie.

CNN's maakten gezichtsherkenning mogelijk, zelfrijdende auto's, medische beeldanalyse. Indrukwekkend. Maar ze hadden een probleem: ze waren niet goed in taal. Een zin is geen afbeelding. De volgorde van woorden maakt uit. Context maakt uit. "De man beet de hond" is heel anders dan "De hond beet de man", ook al zijn het dezelfde woorden.

Er was iets nieuws nodig. En in 2017 verscheen dat.

Transformers: "Attention is All You Need"

In juni 2017 publiceerde een team bij Google een paper met een titel die de AI-wereld voorgoed zou veranderen: "Attention is All You Need." Ze introduceerden een nieuwe architectuur: de Transformer.

De naam klinkt als een Hollywoodfilm, maar het idee erachter is elegant. Het kernprincipe heet attention — aandacht. En het lost een fundamenteel probleem op.

Stel je voor dat je deze zin leest: "De kat die gisteren op de mat bij de voordeur zat, is nu verdwenen." Wanneer je bij "verdwenen" bent, moet je nog steeds weten dat het over "de kat" gaat. Dat is een afstand van twaalf woorden. Oudere netwerken hadden moeite met zulke lange verbanden. Ze vergaten het begin tegen de tijd dat ze bij het einde waren. Alsof je halverwege een film bent vergeten wie de hoofdpersoon is.

Transformers lossen dit op met het attention-mechanisme. In plaats van woorden een voor een te verwerken, kan een Transformer elk woord tegelijkertijd bekijken en verbanden leggen. Elk woord "let op" alle andere woorden in de zin. "Verdwenen" kijkt terug naar "kat" en weet: daar gaat het over. Het kijkt naar "gisteren" en weet: dat was het tijdstip. Het kijkt naar "mat bij de voordeur" en weet: dat was de locatie.

Dit was revolutionair. Transformers konden veel langere teksten verwerken. Ze konden context beter begrijpen. En ze konden parallel rekenen — niet woord voor woord, maar alles tegelijk — waardoor ze veel sneller waren.

De Transformer-architectuur is het fundament onder vrijwel alle grote AI-modellen die je vandaag kent. De "T" in GPT staat voor Transformer. De "T" in BERT (Google's taalmodel) ook. Claude van Anthropic? Transformer. Gemini van Google? Transformer. Het is de motor die alles aandrijft.

Hoe ChatGPT werkt: tokens en het volgende woord

Nu we de bouwstenen hebben — neuronen, lagen, backpropagation, Transformers, attention — kunnen we eindelijk praten over hoe ChatGPT daadwerkelijk werkt. En eerlijk gezegd is het kernprincipe verbluffend simpel.

ChatGPT raadt het meest waarschijnlijke volgende woord.

Dat is het. Serieus.

Maar laat me het iets preciezer maken. ChatGPT werkt niet met woorden, maar met tokens. Een token is een stukje tekst — soms een heel woord, soms een deel van een woord, soms een leesteken. Het woord "ongelooflijk" wordt bijvoorbeeld opgesplitst in meerdere tokens: "on", "geloof", "lijk". De Engelse taal heeft gemiddeld zo'n 1,3 tokens per woord; het Nederlands iets meer.

Wanneer je ChatGPT een vraag stelt, gebeurt het volgende:

1. Je tekst wordt omgezet in tokens
2. Die tokens gaan door het Transformer-netwerk — honderden lagen diep, met miljarden gewichten
3. Het netwerk berekent voor elk mogelijk volgend token een kans: hoe waarschijnlijk is dit het volgende woord?
4. Het kiest een token (meestal een van de meest waarschijnlijke)
5. Dat token wordt toegevoegd aan de tekst, en het hele proces herhaalt zich voor het volgende token

Woord voor woord bouwt het een antwoord op. Het kijkt naar alles wat er al staat — je vraag en zijn eigen eerdere woorden — en raadt steeds het volgende stukje. Als een razendsnelle autocomplete die niet alleen het volgende woord raadt, maar hele alinea's.

En die "raad" is niet willekeurig. GPT-4 Turbo — het nieuwste model dat OpenAI recent uitbracht — is getraind op een onvoorstelbare hoeveelheid tekst. Boeken, websites, artikelen, code, conversaties. Het heeft patronen geleerd die wij niet eens kunnen zien. Het weet dat na "Geachte heer/mevrouw" waarschijnlijk een formele zin komt. Het weet dat na een vraag over Python-code waarschijnlijk een codeblok volgt. Het weet dat na "Hoe bak ik een" het woord "taart" waarschijnlijker is dan "fietsband".

De schaal maakt het verschil

Misschien denk je: dat klinkt simpel. Gewoon het volgende woord raden? Dat kan mijn telefoon ook met autocomplete.

En je hebt gelijk — het principe is hetzelfde. Het verschil zit in de schaal.

GPT-4 heeft naar schatting meer dan een biljoen parameters — gewichten in het netwerk die tijdens de training zijn afgesteld. Ter vergelijking: je smartphone-autocomplete heeft er misschien een paar miljoen. Het verschil is als een papieren vliegtuigje vergelijken met een Boeing 747. Zelfde principe: iets door de lucht laten vliegen. Maar het resultaat is onvergelijkbaar.

Die schaal — de diepe lagen, de miljarden parameters, de gigantische hoeveelheid trainingsdata — is wat het verschil maakt tussen "het volgende woord raden" en "een overtuigend essay schrijven over de ethiek van kunstmatige intelligentie in het Nederlands."

Claude 3 Opus, het nieuwste model van Anthropic dat vorige maand uitkwam, werkt op dezelfde principes. Ander bedrijf, ander model, maar dezelfde fundamentele architectuur: een Transformer die token voor token tekst genereert.

Waarom het soms misgaat

Als ChatGPT gewoon het meest waarschijnlijke volgende woord kiest, dan begrijp je ook waarom het soms onzin uitkraamt. Het systeem "weet" niet wat waar is. Het weet wat waarschijnlijk klinkt. En die twee dingen zijn niet hetzelfde.

Wanneer je ChatGPT vraagt naar een specifiek wetenschappelijk onderzoek, kan het een paper verzinnen dat nooit is geschreven. Niet omdat het liegt — het kan niet liegen, het heeft geen concept van waarheid. Het genereert een antwoord dat past bij het patroon: als iemand naar onderzoek vraagt, volgt er een titel, auteurs, een jaar, een tijdschrift. Het vult de meest waarschijnlijke woorden in. Soms bestaat dat paper toevallig. Soms niet.

Dit fenomeen heet hallucinatie, en het is een van de grootste uitdagingen in het veld. Het netwerk weet niet wat het niet weet. Het heeft geen twijfelknop. Het genereert altijd een antwoord, met dezelfde zelfverzekerde toon, of het nu klopt of compleet verzonnen is.

Dit is trouwens precies waarom ik altijd zeg: controleer de output. Ik gebruik AI elke dag in mijn werk — voor research, voor tekst, voor code. Maar ik vertrouw het nooit blindelings. Het is een briljante assistent met een neiging tot zelfverzekerde onzin. Behandel het ook zo.

De les: krachtig gereedschap, geen denker

Deep learning en neurale netwerken zijn een van de indrukwekkendste technologische ontwikkelingen van onze tijd. Van Rosenblatt's simpele Perceptron in 1958 tot GPT-4 Turbo in 2024 — de reis is buitengewoon.

Maar door het gordijn te openen en te laten zien hoe het werkt, hoop ik dat een ding duidelijk is geworden: er zit geen intelligentie achter het gordijn. Geen bewustzijn. Geen begrip. Er zit wiskunde. Razendsnelle, onvoorstelbaar complexe, maar uiteindelijk mechanische wiskunde.

ChatGPT schrijft alsof het denkt. Maar het denkt niet. Het raadt. Heel erg goed, gebaseerd op patronen uit miljarden teksten, maar het raadt. En dat inzicht verandert alles aan hoe je ermee omgaat.

Gebruik het als een briljante assistent die snel kan schrijven, samenvatten, en brainstormen. Maar controleer altijd de feiten. Vertrouw niet blindelings op de output. En onthoud: het gereedschap is zo goed als de hand die het vasthoudt.

In het volgende artikel in deze serie gaan we het hebben over multimodale AI — systemen die niet alleen tekst, maar ook beelden en geluid begrijpen. Want de wereld van AI staat niet stil, en de volgende revolutie is al begonnen.