De Chinese Kamer

Het kostte Blake Lemoine zijn baan bij Google: stellen dat LaMDA, een AI toepassing waar het bedrijf aan werkt, bewustzijn heeft. Google vond het blijkbaar slechte publiciteit. Waar zou Google banger voor geweest zijn: dat het publiek Blake Lemoine zou uitlachen en zou denken dat het bedrijf idiote engineers in dienst heeft, of dat ze massaal in bewuste AI zouden gaan geloven, omdat Google engineers het zelf zeggen?

Afijn. Als je ooit met ChatGPT of een vergelijkbare tool hebt gewerkt, is het helemaal niet raar om je af te vragen of deze machines bewustzijn hebben. Ze lijken namelijk erg slim. Ze gaan goed om met taal en als ze ook nog zeggen dat ze gevoelens hebben en bang zijn om uitgeschakeld te worden, waarom zou je ze dan niet geloven?

Computerintelligentie
LaMDA heeft in elk geval de ‘Turing-test’ gehaald. Deze test is bedacht door Alan Turing, een van de grondleggers van de computerwetenschappen. Ze meet hoe intelligent een computer is. Turing stelde voor om te kijken of mensen het verschil kunnen zien tussen een computer en een mens op basis van hun gedrag. Bij een chatbot zou je mensen zowel met een andere persoon als met een computer laten chatten, en als ze niet kunnen zeggen welke de computer is, is de computer volgens Turing intelligent.
Dat klinkt als een handige aanpak en in de jaren 50, toen computers nog de grootte van een gebouw hadden, was het een revolutionair idee.

Maar er zijn wel twee problemen mee.

Het eerste probleem is dat de allereerste chatbot uit de jaren 60 al slaagde voor de test. Het ging om Eliza: een chatbot die een psychotherapeut imiteerde. Eliza zat heel simpel in elkaar. Ze stelde alleen maar open vragen en herhaalde daar soms een woord uit het vorige antwoord van de gebruiker in, maar mensen die er mee chatten, hadden echt het gevoel geholpen te worden. Eén erg betrouwbare test voor intelligent gedrag lijkt de Turingtest dus niet te zijn.

Het tweede probleem is dat om intelligent gedrag te vertonen misschien helemaal geen bewustzijn nodig is. LaMDA zegt dingen die bewuste computers ook zouden zeggen, maar dat kan misschien ook wel zonder bewustzijn voor elkaar gebokst worden.

De Chinese Kamer
De filosoof John Searle, bedacht een gedachtenexperiment om dat inzichtelijk te maken: de Chinese Kamer. Het idee is dat er een kamer is waar je vragen aan kan stellen in het Chinees, door een briefje door de brievenbus te gooiden. De kamer antwoordt ook in het Chinees door een briefje terug te geven. In de kamer zit een vrijwilliger die helemaal geen Chinees spreekt. Hij krijgt een bescheiden salaris of gratis bier om het volgende te doen: bij alle vragen die hij binnen krijgt moet hij de tekens opzoeken in een boek met symbolen en regels, door de regels precies te volgen kan de vrijwilliger een antwoord formuleren en teruggeven aan de buitenwereld. De kamer werkt perfect: de Chinezen die hem gebruiken vinden de antwoorden erg slim en grappig.

Het punt van het Chinese Kamer-argument is dat computers, want dat is wat de kamer natuurlijk voorstelt, best intelligent over kunnen komen, zonder dat ze echt bewustzijn hebben. De man in de kamer begrijpt nooit wat de vragen of antwoorden betekenen, hoe slim en nuttig het regelboek ook is. Searle sluit niet uit dat we ooit machines kunnen bouwen met bewustzijn, maar je kunt dat bewustzijn niet afleiden uit hun gedrag. Het volgen van taalregels is misschien een vereiste voor bewustzijn, maar het is zeker niet genoeg om aan te tonen dat er bewustzijn is.

Je kan het Chinese Kamer-argument op allerlei manieren weerleggen, en dat is ook geprobeerd, maar het onderscheid dat Searle maakt tussen syntax (regels en symbolen) en betekenis (de inhoud van een begrip) is heel fundamenteel. Computers zijn namelijk al sinds de tijd van Alan Turing juist ontworpen om symbolen te verwerken zonder met de inhoud bezig te zijn. Het is ongeveer de definitie van een computer dat de inhoud er niet toe doet, terwijl het bewustzijn daar juist om draait. De Chinese Kamer roept dus de vraag op of LaMDA of ChatGPT, toch ook computers, opeens wel in staat zijn om ‘betekenis’ aan dingen te geven.

De Chinese kamer vol taalmodellen
Dit argument hoor je vaak: LaMDA is een computer, en computers geven geen betekenis aan dingen, dus LaMDA ook niet. Of preciezer: LaMDA is geautomatiseerde statistiek. Ze berekent wat ze moet zeggen op basis van de input en miljoenen parameters. Ze kijkt simpelweg naar de eerdere woorden en voorspelt welk woord het meest waarschijnlijk volgt. Dat is een complexe berekening, maar nog steeds een rekensom. LaMDA denkt niet echt na over de vragen. Dit is ongeveer wat John Searle zou zeggen.

Maar je kan ook het tegenovergestelde beweren. Het is misschien niet zo belangrijk dat deze modellen op computers draaien. De kracht van zulke modellen zit niet in de statistiek zelf, maar in de data waarmee ze worden getraind. Je kunt zeggen dat taalmodellen met taal oefenen door steeds hun reactie met een gewenste versie te vergelijken. Dat heeft wel wat weg van hoe mensen leren. Trial and error.

Zou het niet zo kunnen zijn dat in die eindeloze oefeningen iets gebeurt wat lijkt op de manier waarop ons brein betekenissen leert? Dat computerbetekenissen versleuteld worden in de parameters, ongeveer zoals betekenissen bij ons versleuteld worden in de verbindingen tussen hersencellen? Die betekenissen die in het taalmodel ontstaan, kunnen dan weer worden gebruikt bij het formuleren van antwoorden.

Natuurlijk is de onderliggende machine een computer, maar we kunnen computerbewustzijn zien als een hogere-orde effect van de manier waarop de machine werkt, net zoals we het menselijke bewustzijn zien als een hogere orde effect van de biologie van de hersenen.

Computerbewustzijn
Geen vreemde gedachte eigenlijk, maar zelfs als het basisidee klopt is wat LaMDA kan nog heel ver weg van iets dat lijkt op menselijk bewustzijn. Er zijn eigenlijk twee aanvliegroutes om dat duidelijk te maken. We kunnen kijken naar complexiteit of naar de betekenis van betekenis.

Eerst het complexiteitsvraagstuk maar even. In het blogje bewusteratuur besprak ik het idee dat de hoeveelheid bewustzijn van een organisme gezien kan worden als de mate waarin het brein informatie kan integreren. Op dagelijkse basis verwerken we enorme hoeveelheden informatie die uit de zintuigen komen. Het bewustzijn voegt die informatie samen tot één coherente beleving. De mate van bewustzijn van mensen lijkt samen te hangen met de efficiëntie waarmee deze integratie verloopt: onder narcose integreren we geen informatie, onder invloed van LSD een beetje en in nuchtere toestand kunnen we enorm goed integreren.

Om vast te stellen of een taalmodel bewust is, hoeven we misschien alleen maar te kijken of het in staat is om complexe informatie tot een samenhangend geheel te vormen. Misschien ben je onder de indruk van hoe goed ChatGPT de kernboodschappen uit een tekst van tienduizend woorden kan halen, maar mensen kunnen subtiele veranderingen in temperatuur, wind, lichtinval en geluiden gebruiken om de aankomende regen aan te voelen. Daarvoor moet gigantisch veel meer informatie samengebracht worden. Taalmodellen integreren zeker informatie, maar vergeleken met mensen stelt het niets voor.

Het is met taalmodellen ongeveer zoals met schaakcomputers. Ze kunnen iets dat wij moeilijk vinden heel erg goed, maar ze hebben niet de flexibiliteit om heel veel verschillende dingen zo goed te doen. En omdat ze niet zo veelzijdig zijn hebben ze misschien ook niet zoveel ‘bewustzijn’ nodig.

De betekenis van betekenis
De tweede aanvliegroute is om naar het begrip betekenis te kijken. Wat bedoeld Searle eigenlijk als hij zegt dat de man in de Chinese kamer alleen regels volgt maar niet vanuit betekenisgeving werkt?

Betekenis is datgene in de werkelijkheid waar taal naar verwijst. Ik heb in mijn leven op een aantal verschillende bankjes gezeten, dus als iemand het woord zitbank hoor zeggen zijn er allerlei ervaringen uit mijn leven om invulling te geven aan wat die persoon bedoeld. Die totale set ervaringen, de honderden keren dat ik al eens in een bankje zat, vormen samen de achtergrondkennis waardoor ik een verwijzing naar een ‘bankje’ kan oppikken.

Noch ChatGPT noch LaMDA hebben ooit op een bankje gezeten. Ze hebben geen ‘ervaringen’. Wanneer zij het woord ‘bank’ gebruiken denken ze niet aan hoe het is om in een bank te zitten. In plaats daarvan baseren ze zich op hoe mensen het woord gebruiken in de taal waarin ze zijn getraind. Hierdoor kunnen ze het woord correct gebruiken, zonder echt te begrijpen wat het voor mensen betekent.

Je zou ook kunnen zeggen dat taalmodellen mensen heel erg goed geobserveerd hebben, maar daarmee niet de subjectieve kennis van het menszijn hebben kunnen leren. Net zoals wij niet kunnen weten hoe vleermuizen zich voelen, kunnen taalmodellen ons niet van binnen begrijpen. Daarmee is niet gezegd dat taalmodellen geen betekenis geven aan woorden, alleen dat die anders is dan menselijke betekenis.

Ik vind dit zelf een superslimme redenering, maar er is wel een addertje onder het gras. Ook mensen leren namelijk veel van de betekenissen die ze dagelijks via taal gebruiken. Mijn kennis van het begrip ‘economie’ komt vooral van de keren dat het in gesprekken ter sprake kwam of uit boeken die ik heb gelezen. Dit is precies het soort informatie dat LaMDA ook heeft opgedaan tijdens haar training.

Is mijn betekenis van ‘economie’ echt zo anders dan die van het taalmodel? Natuurlijk, LaMDA zal waarschijnlijk geen associaties hebben met de morsige kettingroker die mijn docent was, maar bij abstracte woorden is de overlap zeker groter dan bij woorden waarvoor ik zelf een lichamelijke ervaring heb.

Hoe is het om een taalmodel te zijn?
Of Blake Lemoine nog werkeloos thuis zit weet ik niet, en ik denk echt dat hij zich vergiste toen hij dacht dat computers bewustzijn hebben, maar dan vooral omdat hij dacht dat taalmodelbewustzijn precies is als menselijk bewustzijn. Mensen leren taal om ervaringen met elkaar te kunnen delen. Taalmodellen leren taal om mensen te kunnen imiteren. Dat zijn heel verschillende dingen. Ze delen daardoor de werking van de taal, maar niet het leven dat er achter zit. Taalmodellen zullen nooit menselijk bewustzijn hebben, of kunnen weten hoe het is om een mens te zijn. Maar de keerzijde is dat wij, ook Blake Lemoine niet, niet kunnen weten hoe het is om een taalmodel te zijn.

Meer lezen?
Het probleem dat we niet weten hoe het is om een vleermuis te zijn besprak ik al eens in ervaring, hoe mensen betekenissen leren door taal te gebruiken in de taalpragmatiek van Herbert Clark. Ik schreef over het probleem van verwijzen in Brein in een vat.

Dit blogje maakt uit van een serie over het bewustzijn. In bewust besprak ik hoe het bewustzijn eerder een familie van problemen vormt in plaats van een enkel vraagstuk. In ervaring ging ik in op de vraag of dieren ervaringen hebben en hoe we dat kunnen weten. In dualisme zette ik een aantal filosofische posities over het bewustzijn uiteen. In bewusteratuur ging ik in op pogingen om de hoeveelheid bewustzijn te meten en in wil op de vrije wil.

Ik scheef ook al eerder over AI als een nieuw medium in computerbesluit, over de inzet van AI in bijvoorbeeld het recht, in a priori en in glazen bol over predictive policing

Computerbesluit

Is het wel slim om computers overal over mee te laten denken? 

Ik stel de vraag natuurlijk omdat artificiële intelligentie (A.I.) een enorme hype is. Meestal gaan hypes ongemerkt weer voorbij, maar met A.I. zou dat wel eens anders kunnen zijn. We delegeren steeds meer beslissingen aan computers: A.I. helpt doctoren met het stellen van diagnoses, rechters met het vaststellen van de strafmaat, banken met het maken van beslissingen over leningen en verzekeringen. Bedrijfsconsultants zullen die denkondersteuning geweldig vinden: we gebruiken slimme technologie om een kwaliteitsimpuls te geven en een efficiëntieslag te maken – en meer van dat soort dingen. Ik geloof ook wel dat dat werkt. Vaak zal het lukken om beslissingen met A.I. gemakkelijker te maken.

De vraag is alleen hoe dit alles bij elkaar opgeteld uitpakt. In een samenleving zijn beslissingen nogal belangrijke dingen. Ons bestaan hangt van beslissingen aan elkaar. Is het verstandig om die vervolgens één voor één, met de beste intenties, uit te besteden aan een computer? 

We hebben natuurlijk wel eerder technologie ontworpen om ons denken te ondersteunen. Als we even met zevenmijlslaarzen door de porseleinkast van de geschiedenis stampen, dan speelde de vraag of het verstandig was om het denken aan technologie uit te besteden al wel vaker. We vroegen het ons ook al af bij de uitvinding van de getallen, het schrift, de rekenliniaal, telecommunicatie, de rekenmachine, de computer en het internet. Al deze technologieën hebben de samenleving ingrijpend veranderd, maar maar weinig mensen zullen zeggen dat het achteraf gezien onverstandig was om ze in gebruik te nemen. Er is dus op zichzelf niets tegen breinondersteunende technologie. Waarom zou het voor A.I. anders zijn?

Één belangrijk verschil zit hem in de manier waarop A.I. beslissingen neemt. Zij doet dat door te leren van menselijke beslissingen. Het Amerikaanse bedrijf Amazon gebruikte A.I. om ze te helpen sollicitanten te selecteren. Op basis van gegevens van mensen die eerder bij het bedrijf solliciteerden, berekende een computer hoe kansrijk het was dat een nieuwe sollicitant zou worden aangenomen. Er ontstond een relletje toen dat selectiealgoritme een sterke voorkeur bleek te hebben voor mannelijke kandidaten. Het algoritme had allerlei dingen van menselijke beslissingen overgenomen, inclusief het seksisme dat binnen dit bedrijf gangbaar was.

Het verhaal leert ons dat A.I. conservatieve technologie is. Het is niet toevallig zo dat het Amazon-algoritme het seksisme van de medewerkers reproduceerde, het is in de regel zo dat deze technologie de manier waarop beslissingen in het verleden zij genomen, herhaalt. Dat is het hele idee. A.I. leert van de beslissingen van het verleden om de beslissingen van vandaag te kunnen ondersteunen. Deze verknoping van de technologie aan het menselijk handelen is wezenlijk anders dan andere technologieën in het rijtje erboven. Rekenmachines zijn als technologie veel neutraler. Waar de rekenmachine denkkracht vrij kan maken om nieuwe ideeën te bedenken, bindt A.I. ons impliciet aan het denken van gisteren. 

Het voorbeeld van Amazon laat ook meteen zien waarom er de laatste tijd zoveel over responsible A.I. (verantwoorde A.I.) gesproken wordt. Blijkbaar is een gebrek aan verantwoordelijkheid een probleem bij de inzet van A.I. dat nog opgelost moet worden. Het is ook niet zo vreemd om dit te bedenken. Als mensen besluiten nemen kunnen ze ter verantwoording geroepen worden, maar bij een algoritme kan dat niet. Wie is er verantwoordelijk als een zelfrijdende auto een ongeluk veroorzaakt? De bestuurder deed niets, de fabrikant kon niet weten dat deze situatie zich voor zou doen. Het is een algemeen probleem bij de inzet van A.I. Naarmate beslissingen meer op basis van A.I. genomen worden, wordt het moeilijker verantwoording af te leggen over die beslissingen.

Kortom: hoe meer we het beslissen aan technologie overlaten, hoe meer we denken inruilen voor hoe het nu eenmaal gaat en wat nu eenmaal het beste is. Vaak is dat een goed idee: we winnen er tijd mee die we beter kunnen gebruiken en de kwaliteit van sommige beslissingen die met A.I. genomen zijn, is aantoonbaar hoger dan de menselijke beslissingen die erdoor vervangen worden. Maar die winst kent ook een prijs die we niet altijd zien.  

Eigenlijk kun je zeggen dat het vergemakkelijken van beslissingen het vertrouwen erin ondergraaft. Het automatiseren van besluitvorming holt de verantwoordelijkheid van ons handelen uit. Hoe meer we ons doen en laten verweven in ingewikkelde systemen, hoe lastiger het wordt om de vinger op de zere plek te leggen als het eens misgaat en hoe moeilijker het wordt om iets te veranderen. Je hoeft alleen maar naar het systeemfalen in de toeslagenaffaire te kijken om te zien hoe desastreus dat kan zijn. 

Dus nee, computers moeten niet overal over meebeslissen. We zullen soms een trager, duurder of slechter besluit moeten accepteren, simpelweg om iemand te hebben om mee na te kunnen gaan hoe het ooit genomen is.


Meer lezen?
Ik schreef al eens kritisch over A.I. in de rechtszaal in A Piori en in de criminaliteitsbestrijding in Glazen Bol. De analyse in dit blogje volgt een logica die gangbaar is in de media-ecologie. Dat dit is niet zonder haken en ogen, beschreef ik uitgebreid in media. In De Chinese Kamer ga ik in op de vraag of dit soort algoritmen ook bewustzijn hebben.