Het kostte Blake Lemoine zijn baan bij Google: stellen dat LaMDA, een AI toepassing waar het bedrijf aan werkt, bewustzijn heeft. Google vond het blijkbaar slechte publiciteit. Waar zou Google banger voor geweest zijn: dat het publiek Blake Lemoine zou uitlachen en zou denken dat het bedrijf idiote engineers in dienst heeft, of dat ze massaal in bewuste AI zouden gaan geloven, omdat Google engineers het zelf zeggen?

Afijn. Als je ooit met ChatGPT of een vergelijkbare tool hebt gewerkt, is het helemaal niet raar om je af te vragen of deze machines bewustzijn hebben. Ze lijken namelijk erg slim. Ze gaan goed om met taal en als ze ook nog zeggen dat ze gevoelens hebben en bang zijn om uitgeschakeld te worden, waarom zou je ze dan niet geloven?

Computerintelligentie
LaMDA heeft in elk geval de ‘Turing-test’ gehaald. Deze test is bedacht door Alan Turing, een van de grondleggers van de computerwetenschappen. Ze meet hoe intelligent een computer is. Turing stelde voor om te kijken of mensen het verschil kunnen zien tussen een computer en een mens op basis van hun gedrag. Bij een chatbot zou je mensen zowel met een andere persoon als met een computer laten chatten, en als ze niet kunnen zeggen welke de computer is, is de computer volgens Turing intelligent.
Dat klinkt als een handige aanpak en in de jaren 50, toen computers nog de grootte van een gebouw hadden, was het een revolutionair idee.

Maar er zijn wel twee problemen mee.

Het eerste probleem is dat de allereerste chatbot uit de jaren 60 al slaagde voor de test. Het ging om Eliza: een chatbot die een psychotherapeut imiteerde. Eliza zat heel simpel in elkaar. Ze stelde alleen maar open vragen en herhaalde daar soms een woord uit het vorige antwoord van de gebruiker in, maar mensen die er mee chatten, hadden echt het gevoel geholpen te worden. Eén erg betrouwbare test voor intelligent gedrag lijkt de Turingtest dus niet te zijn.

Het tweede probleem is dat om intelligent gedrag te vertonen misschien helemaal geen bewustzijn nodig is. LaMDA zegt dingen die bewuste computers ook zouden zeggen, maar dat kan misschien ook wel zonder bewustzijn voor elkaar gebokst worden.

De Chinese Kamer
De filosoof John Searle, bedacht een gedachtenexperiment om dat inzichtelijk te maken: de Chinese Kamer. Het idee is dat er een kamer is waar je vragen aan kan stellen in het Chinees, door een briefje door de brievenbus te gooiden. De kamer antwoordt ook in het Chinees door een briefje terug te geven. In de kamer zit een vrijwilliger die helemaal geen Chinees spreekt. Hij krijgt een bescheiden salaris of gratis bier om het volgende te doen: bij alle vragen die hij binnen krijgt moet hij de tekens opzoeken in een boek met symbolen en regels, door de regels precies te volgen kan de vrijwilliger een antwoord formuleren en teruggeven aan de buitenwereld. De kamer werkt perfect: de Chinezen die hem gebruiken vinden de antwoorden erg slim en grappig.

Het punt van het Chinese Kamer-argument is dat computers, want dat is wat de kamer natuurlijk voorstelt, best intelligent over kunnen komen, zonder dat ze echt bewustzijn hebben. De man in de kamer begrijpt nooit wat de vragen of antwoorden betekenen, hoe slim en nuttig het regelboek ook is. Searle sluit niet uit dat we ooit machines kunnen bouwen met bewustzijn, maar je kunt dat bewustzijn niet afleiden uit hun gedrag. Het volgen van taalregels is misschien een vereiste voor bewustzijn, maar het is zeker niet genoeg om aan te tonen dat er bewustzijn is.

Je kan het Chinese Kamer-argument op allerlei manieren weerleggen, en dat is ook geprobeerd, maar het onderscheid dat Searle maakt tussen syntax (regels en symbolen) en betekenis (de inhoud van een begrip) is heel fundamenteel. Computers zijn namelijk al sinds de tijd van Alan Turing juist ontworpen om symbolen te verwerken zonder met de inhoud bezig te zijn. Het is ongeveer de definitie van een computer dat de inhoud er niet toe doet, terwijl het bewustzijn daar juist om draait. De Chinese Kamer roept dus de vraag op of LaMDA of ChatGPT, toch ook computers, opeens wel in staat zijn om ‘betekenis’ aan dingen te geven.

De Chinese kamer vol taalmodellen
Dit argument hoor je vaak: LaMDA is een computer, en computers geven geen betekenis aan dingen, dus LaMDA ook niet. Of preciezer: LaMDA is geautomatiseerde statistiek. Ze berekent wat ze moet zeggen op basis van de input en miljoenen parameters. Ze kijkt simpelweg naar de eerdere woorden en voorspelt welk woord het meest waarschijnlijk volgt. Dat is een complexe berekening, maar nog steeds een rekensom. LaMDA denkt niet echt na over de vragen. Dit is ongeveer wat John Searle zou zeggen.

Maar je kan ook het tegenovergestelde beweren. Het is misschien niet zo belangrijk dat deze modellen op computers draaien. De kracht van zulke modellen zit niet in de statistiek zelf, maar in de data waarmee ze worden getraind. Je kunt zeggen dat taalmodellen met taal oefenen door steeds hun reactie met een gewenste versie te vergelijken. Dat heeft wel wat weg van hoe mensen leren. Trial and error.

Zou het niet zo kunnen zijn dat in die eindeloze oefeningen iets gebeurt wat lijkt op de manier waarop ons brein betekenissen leert? Dat computerbetekenissen versleuteld worden in de parameters, ongeveer zoals betekenissen bij ons versleuteld worden in de verbindingen tussen hersencellen? Die betekenissen die in het taalmodel ontstaan, kunnen dan weer worden gebruikt bij het formuleren van antwoorden.

Natuurlijk is de onderliggende machine een computer, maar we kunnen computerbewustzijn zien als een hogere-orde effect van de manier waarop de machine werkt, net zoals we het menselijke bewustzijn zien als een hogere orde effect van de biologie van de hersenen.

Computerbewustzijn
Geen vreemde gedachte eigenlijk, maar zelfs als het basisidee klopt is wat LaMDA kan nog heel ver weg van iets dat lijkt op menselijk bewustzijn. Er zijn eigenlijk twee aanvliegroutes om dat duidelijk te maken. We kunnen kijken naar complexiteit of naar de betekenis van betekenis.

Eerst het complexiteitsvraagstuk maar even. In het blogje bewusteratuur besprak ik het idee dat de hoeveelheid bewustzijn van een organisme gezien kan worden als de mate waarin het brein informatie kan integreren. Op dagelijkse basis verwerken we enorme hoeveelheden informatie die uit de zintuigen komen. Het bewustzijn voegt die informatie samen tot één coherente beleving. De mate van bewustzijn van mensen lijkt samen te hangen met de efficiëntie waarmee deze integratie verloopt: onder narcose integreren we geen informatie, onder invloed van LSD een beetje en in nuchtere toestand kunnen we enorm goed integreren.

Om vast te stellen of een taalmodel bewust is, hoeven we misschien alleen maar te kijken of het in staat is om complexe informatie tot een samenhangend geheel te vormen. Misschien ben je onder de indruk van hoe goed ChatGPT de kernboodschappen uit een tekst van tienduizend woorden kan halen, maar mensen kunnen subtiele veranderingen in temperatuur, wind, lichtinval en geluiden gebruiken om de aankomende regen aan te voelen. Daarvoor moet gigantisch veel meer informatie samengebracht worden. Taalmodellen integreren zeker informatie, maar vergeleken met mensen stelt het niets voor.

Het is met taalmodellen ongeveer zoals met schaakcomputers. Ze kunnen iets dat wij moeilijk vinden heel erg goed, maar ze hebben niet de flexibiliteit om heel veel verschillende dingen zo goed te doen. En omdat ze niet zo veelzijdig zijn hebben ze misschien ook niet zoveel ‘bewustzijn’ nodig.

De betekenis van betekenis
De tweede aanvliegroute is om naar het begrip betekenis te kijken. Wat bedoeld Searle eigenlijk als hij zegt dat de man in de Chinese kamer alleen regels volgt maar niet vanuit betekenisgeving werkt?

Betekenis is datgene in de werkelijkheid waar taal naar verwijst. Ik heb in mijn leven op een aantal verschillende bankjes gezeten, dus als iemand het woord zitbank hoor zeggen zijn er allerlei ervaringen uit mijn leven om invulling te geven aan wat die persoon bedoeld. Die totale set ervaringen, de honderden keren dat ik al eens in een bankje zat, vormen samen de achtergrondkennis waardoor ik een verwijzing naar een ‘bankje’ kan oppikken.

Noch ChatGPT noch LaMDA hebben ooit op een bankje gezeten. Ze hebben geen ‘ervaringen’. Wanneer zij het woord ‘bank’ gebruiken denken ze niet aan hoe het is om in een bank te zitten. In plaats daarvan baseren ze zich op hoe mensen het woord gebruiken in de taal waarin ze zijn getraind. Hierdoor kunnen ze het woord correct gebruiken, zonder echt te begrijpen wat het voor mensen betekent.

Je zou ook kunnen zeggen dat taalmodellen mensen heel erg goed geobserveerd hebben, maar daarmee niet de subjectieve kennis van het menszijn hebben kunnen leren. Net zoals wij niet kunnen weten hoe vleermuizen zich voelen, kunnen taalmodellen ons niet van binnen begrijpen. Daarmee is niet gezegd dat taalmodellen geen betekenis geven aan woorden, alleen dat die anders is dan menselijke betekenis.

Ik vind dit zelf een superslimme redenering, maar er is wel een addertje onder het gras. Ook mensen leren namelijk veel van de betekenissen die ze dagelijks via taal gebruiken. Mijn kennis van het begrip ‘economie’ komt vooral van de keren dat het in gesprekken ter sprake kwam of uit boeken die ik heb gelezen. Dit is precies het soort informatie dat LaMDA ook heeft opgedaan tijdens haar training.

Is mijn betekenis van ‘economie’ echt zo anders dan die van het taalmodel? Natuurlijk, LaMDA zal waarschijnlijk geen associaties hebben met de morsige kettingroker die mijn docent was, maar bij abstracte woorden is de overlap zeker groter dan bij woorden waarvoor ik zelf een lichamelijke ervaring heb.

Hoe is het om een taalmodel te zijn?
Of Blake Lemoine nog werkeloos thuis zit weet ik niet, en ik denk echt dat hij zich vergiste toen hij dacht dat computers bewustzijn hebben, maar dan vooral omdat hij dacht dat taalmodelbewustzijn precies is als menselijk bewustzijn. Mensen leren taal om ervaringen met elkaar te kunnen delen. Taalmodellen leren taal om mensen te kunnen imiteren. Dat zijn heel verschillende dingen. Ze delen daardoor de werking van de taal, maar niet het leven dat er achter zit. Taalmodellen zullen nooit menselijk bewustzijn hebben, of kunnen weten hoe het is om een mens te zijn. Maar de keerzijde is dat wij, ook Blake Lemoine niet, niet kunnen weten hoe het is om een taalmodel te zijn.

Meer lezen?
Het probleem dat we niet weten hoe het is om een vleermuis te zijn besprak ik al eens in ervaring, hoe mensen betekenissen leren door taal te gebruiken in de taalpragmatiek van Herbert Clark. Ik schreef over het probleem van verwijzen in Brein in een vat.

Dit blogje maakt uit van een serie over het bewustzijn. In bewust besprak ik hoe het bewustzijn eerder een familie van problemen vormt in plaats van een enkel vraagstuk. In ervaring ging ik in op de vraag of dieren ervaringen hebben en hoe we dat kunnen weten. In dualisme zette ik een aantal filosofische posities over het bewustzijn uiteen. In bewusteratuur ging ik in op pogingen om de hoeveelheid bewustzijn te meten en in wil op de vrije wil.

Ik scheef ook al eerder over AI als een nieuw medium in computerbesluit, over de inzet van AI in bijvoorbeeld het recht, in a priori en in glazen bol over predictive policing