Computerbesluit

Is het wel slim om computers overal over mee te laten denken? 

Ik stel de vraag natuurlijk omdat artificiële intelligentie (A.I.) een enorme hype is. Meestal gaan hypes ongemerkt weer voorbij, maar met A.I. zou dat wel eens anders kunnen zijn. We delegeren steeds meer beslissingen aan computers: A.I. helpt doctoren met het stellen van diagnoses, rechters met het vaststellen van de strafmaat, banken met het maken van beslissingen over leningen en verzekeringen. Bedrijfsconsultants zullen die denkondersteuning geweldig vinden: we gebruiken slimme technologie om een kwaliteitsimpuls te geven en een efficiëntieslag te maken – en meer van dat soort dingen. Ik geloof ook wel dat dat werkt. Vaak zal het lukken om beslissingen met A.I. gemakkelijker te maken.

De vraag is alleen hoe dit alles bij elkaar opgeteld uitpakt. In een samenleving zijn beslissingen nogal belangrijke dingen. Ons bestaan hangt van beslissingen aan elkaar. Is het verstandig om die vervolgens één voor één, met de beste intenties, uit te besteden aan een computer? 

We hebben natuurlijk wel eerder technologie ontworpen om ons denken te ondersteunen. Als we even met zevenmijlslaarzen door de porseleinkast van de geschiedenis stampen, dan speelde de vraag of het verstandig was om het denken aan technologie uit te besteden al wel vaker. We vroegen het ons ook al af bij de uitvinding van de getallen, het schrift, de rekenliniaal, telecommunicatie, de rekenmachine, de computer en het internet. Al deze technologieën hebben de samenleving ingrijpend veranderd, maar maar weinig mensen zullen zeggen dat het achteraf gezien onverstandig was om ze in gebruik te nemen. Er is dus op zichzelf niets tegen breinondersteunende technologie. Waarom zou het voor A.I. anders zijn?

Één belangrijk verschil zit hem in de manier waarop A.I. beslissingen neemt. Zij doet dat door te leren van menselijke beslissingen. Het Amerikaanse bedrijf Amazon gebruikte A.I. om ze te helpen sollicitanten te selecteren. Op basis van gegevens van mensen die eerder bij het bedrijf solliciteerden, berekende een computer hoe kansrijk het was dat een nieuwe sollicitant zou worden aangenomen. Er ontstond een relletje toen dat selectiealgoritme een sterke voorkeur bleek te hebben voor mannelijke kandidaten. Het algoritme had allerlei dingen van menselijke beslissingen overgenomen, inclusief het seksisme dat binnen dit bedrijf gangbaar was.

Het verhaal leert ons dat A.I. conservatieve technologie is. Het is niet toevallig zo dat het Amazon-algoritme het seksisme van de medewerkers reproduceerde, het is in de regel zo dat deze technologie de manier waarop beslissingen in het verleden zij genomen, herhaalt. Dat is het hele idee. A.I. leert van de beslissingen van het verleden om de beslissingen van vandaag te kunnen ondersteunen. Deze verknoping van de technologie aan het menselijk handelen is wezenlijk anders dan andere technologieën in het rijtje erboven. Rekenmachines zijn als technologie veel neutraler. Waar de rekenmachine denkkracht vrij kan maken om nieuwe ideeën te bedenken, bindt A.I. ons impliciet aan het denken van gisteren. 

Het voorbeeld van Amazon laat ook meteen zien waarom er de laatste tijd zoveel over responsible A.I. (verantwoorde A.I.) gesproken wordt. Blijkbaar is een gebrek aan verantwoordelijkheid een probleem bij de inzet van A.I. dat nog opgelost moet worden. Het is ook niet zo vreemd om dit te bedenken. Als mensen besluiten nemen kunnen ze ter verantwoording geroepen worden, maar bij een algoritme kan dat niet. Wie is er verantwoordelijk als een zelfrijdende auto een ongeluk veroorzaakt? De bestuurder deed niets, de fabrikant kon niet weten dat deze situatie zich voor zou doen. Het is een algemeen probleem bij de inzet van A.I. Naarmate beslissingen meer op basis van A.I. genomen worden, wordt het moeilijker verantwoording af te leggen over die beslissingen.

Kortom: hoe meer we het beslissen aan technologie overlaten, hoe meer we denken inruilen voor hoe het nu eenmaal gaat en wat nu eenmaal het beste is. Vaak is dat een goed idee: we winnen er tijd mee die we beter kunnen gebruiken en de kwaliteit van sommige beslissingen die met A.I. genomen zijn, is aantoonbaar hoger dan de menselijke beslissingen die erdoor vervangen worden. Maar die winst kent ook een prijs die we niet altijd zien.  

Eigenlijk kun je zeggen dat het vergemakkelijken van beslissingen het vertrouwen erin ondergraaft. Het automatiseren van besluitvorming holt de verantwoordelijkheid van ons handelen uit. Hoe meer we ons doen en laten verweven in ingewikkelde systemen, hoe lastiger het wordt om de vinger op de zere plek te leggen als het eens misgaat en hoe moeilijker het wordt om iets te veranderen. Je hoeft alleen maar naar het systeemfalen in de toeslagenaffaire te kijken om te zien hoe desastreus dat kan zijn. 

Dus nee, computers moeten niet overal over meebeslissen. We zullen soms een trager, duurder of slechter besluit moeten accepteren, simpelweg om iemand te hebben om mee na te kunnen gaan hoe het ooit genomen is.


Meer lezen?
Ik schreef al eens kritisch over A.I. in de rechtszaal in A Piori en in de criminaliteitsbestrijding in Glazen Bol. De analyse in dit blogje volgt een logica die gangbaar is in de media-ecologie. Dat dit is niet zonder haken en ogen, beschreef ik uitgebreid in media. In De Chinese Kamer ga ik in op de vraag of dit soort algoritmen ook bewustzijn hebben.

Samenloop

“Vind je dat niet een beetje link?”, vroeg ik een collega toen hij een stapel stenen soepkommen op de rand van een balustrade plaatste. Een verdieping lager was een ruimte met flexplekken voor studenten. Het is al jaren geleden, maar zijn antwoord is me altijd bijgebleven. “Verantwoordelijkheid is een netwerk”, zei hij. Hij bedoelde ongeveer dit: elke gebeurtenis is een samenloop van omstandigheden; er ligt een keten van oorzaken aan ten grondslag.

Stel je voor dat de soepkommen van de rand zouden vallen en een student zouden verwonden. Dat komt net zo goed door diegene die ze van de balustrade afstoot als door diegene die ze er op heeft gezet; of door de student die op zo’n onhandig plek is gaan zitten: of door de catering die met stenen in plaats van met plastic soepkommen werkt; of door de collega die ze zag staan en ze niet weghaalde; of door de architect die de flexplekken onder zo’n potentieel gevaarlijke richel geplaatst heeft. En zo kun je nog wel even doorgaan. De meeste oorzaken zijn ook maar als gevolg begonnen.

Goed. Ik heb er maar even een tekening van gemaakt.

netwerk droog

Dit plaatje is op zichzelf niet eens zo heel interessant. Maar het punt is dat je voor elke gebeurtenis die je kan bedenken zo’n plaatje kan tekenen. Er zijn meerdere oorzaken aan te wijzen voor het feit dat je vanochtend wakker werd, dat je thee minder heet is dan je zou verwachten, dat de zon schijnt en dat je dit blogje leest – en aan elk van die oorzaken zit weer een keten van oorzaken vast. Alles wat er gebeurt, hangt met elkaar samen.

Op dat feit kan je prima een hele spirituele gedachtegang bouwen, maar vaak zit het ons nogal in de weg. We zoeken liever naar één of, heel misschien, twéé oorzaken voor elke gebeurtenis.

Misschien heb je in het voorbeeld hierboven -zo ongeveer toen ik over de verantwoordelijkheid van de architect begon – wel gedacht: maar dat is wel heel erg ver gezocht. Dat is precies wat ik bedoel. Je werd een beetje wanhopig van de uitgebreidheid van de keten van oorzaken die ik aandroeg – en probeerde er alles aan te doen om die klein te houden. Misschien ben je daar nog mee bezig. Dat snap ik best.

Ik geef je ook geen ongelijk. Het redeneert gewoon een stuk vlotter met een eenvoudige voorstelling van zaken dan met een ingewikkelde. Dus … hoe perk je je in?

Eén manier is om alleen directe oorzaken aan te wijzen. Je begint bij de gebeurtenis zelf en telt alleen die dingen mee die daar direct toe geleid hebben. Dit lijkt heel zuiver. Een besluit van je baas veroorzaakt een loonsverhoging; een virus veroorzaakt een verkoudheid. Het probleem is dat dit vaak heel onbevredigend is. In het soepkommenvoorbeeld is het omgooien van de soepkommen een directe oorzaak, het gevaarlijk wegzetten niet. Als iemand met zijn dronken kop tegen een boom rijdt, is een stuurfout de directe oorzaak, niet de dronkenschap. En… waarom besloot je baas eigenlijk tot loonsverhoging? Bij een directe-oorzakenstrategie vallen die dingen die we het belangrijkst of interessantst vinden vaak juist buiten beschouwing. Meestal, zeker in het geval van een loonsverhoging, vinden we de diepere oorzaken belangrijker.

Het kan dan een betere strategie zijn om een cirkel van invloed te tekenen. Bij een cirkel van invloed kijk je niet zozeer naar de hele samenloop van omstandigheden, maar naar dat deel dat onder jouw invloed valt. Mijn collega kon niet zorgen voor plastic kommen, maar kon er wel voor zorgen dat hij de stenen versies niet zo enorm gevaarlijk wegzette. De architect kon het gedrag van de catering of mijn collega, niet veranderen, maar kon wel zorgen dat dit soort gevaarlijke situaties onwaarschijnlijk werden. Als iedereen nu vanuit zijn of haar cirkel van invloed het goede deed, was de wereld een paradijs.

Of, nou ja, misschien ook niet. Het cirkel-van-invloed denken is een handige benadering en het zou waarschijnlijk wel werken als we allemaal dezelfde doelen nastreefden, maar dat is niet zo. Daardoor schatten we de grootte van onze cirkel van invloed steeds verkeerd in.

Het probleem is dat iedere beslissing tegelijk een verandering teweeg kan brengen in meerdere invloedscirkels. Als de architect uit het soepkommenvoorbeeld rekening moet houden met elke oen die later in zijn gebouw gaat werken en elke gevaarlijke situatie wil voorkomen, dan neemt hij veiligheid heel serieus. Maar je kan op je vingers natellen dat daar een draak van een gebouw uitkomt. Hij tekent een grote veiligheidscirkel van invloed, maar dat gaat ten koste van zijn leefbaarheidscirkel van invloed of zijn kostencirkel van invloed. Een duivels dilemma.

De andere kant van die medaille is dat als niemand buiten zijn cirkeltje durft te kijken, we de problemen met diepere oorzaken niet kunnen oplossen. We kunnen als consumenten duurzame boodschappen doen zoveel we willen, als we niet óók zorgen dat het bedrijfsleven en de politiek hun verantwoordelijkheid nemen, kunnen we de klimaatverandering niet oplossen. We moeten buiten onze normale cirkel van invloed werken, omdat andere partijen andere doelen nastreven dan wij. Lastig.

Gelukkig is er nog een derde strategie over. Je kunt ontrafelen. Heel zorgvuldig breng je het totale netwerk van oorzaken in kaart; van elke oorzaak stel je vast hoe direct, beïnvloedbaar en belangrijk die is; en dan kun je een zorgvuldige afweging maken over welke combinatie van strategieën het makkelijkst kan voorkomen dat er een soepkom op het hoofd van een student valt.

Ik kom die strategie soms tegen bij historici, die allerlei omstandigheden in de geschiedenis aanwijzen die tot een bepaalde gebeurtenis hebben geleid. Of bij sociale wetenschappers die een heel netwerk van psychologische of sociale mechanismen proberen bloot te leggen en soms ook proberen door te meten. De gedachte is dat als je eerst een overzicht schetst van alle oorzaken en hun invloeden, dat je daarna kunt beslissen wat doorslaggevend is. Wacht! Dit teken ik ook even uit.

netwerk ontrafelt

Mooi, hè? Als je door dit plaatje ineens het licht ziet en roept: “Oh, zó zit het dus met die gevaarlijke soepkommen”, hoor je waarschijnlijk bij de uitzonderingen. Omdat de ontrafelstrategie alle verbanden ook nog eens van een gewicht voorziet, maakt deze het vaak eerder ingewikkelder dan eenvoudiger. Je ziet eigenlijk door de rafels het netwerk niet meer.

Is er dan niets aan te doen? Nee, denk ik. Dat bijna elke gebeurtenis het gevolg is van een samenloop van omstandigheden, waar we ons hoofd niet echt omheen krijgen, is iets waarmee we moeten leren leven. Als de wereld te ingewikkeld voor ons is, moeten we werken met een eenvoudige versie ervan. Maar wat we wél kunnen doen, is onthouden dát we dat doen. Niemand heeft de keten van oorzaken volledig in kaart, ook de ontrafelaars niet. En niemand kan een monopolie hebben op de oplossing. Dat is misschien een ontnuchterende gedachte, maar aan een handjevol bescheidenheid is nog nooit iemand doodgegaan.

Oh…. en die soepkommen hebben we natuurlijk gewoon weer veilig weggezet.

Meer lezen?

In verkoudheid besprak ik al eens hoe discussies mis kunnen lopen als we  vergeten dat dingen een samenloop van omstandigheden kunnen zijn. In groepsidentificaties en eerlijk vergelijken bespreek ik andere dingen die mis kunnen gaan in het alledaagse redeneren.