Computerbesluit

Is het wel slim om computers overal over mee te laten denken? 

Ik stel de vraag natuurlijk omdat artificiele intelligentie (A.I.) een enorme hype is. Meestal gaan hypes ongemerkt weer voorbij, maar met A.I. zou dat wel eens anders kunnen zijn. We delegeren steeds meer beslissingen aan computers: A.I helpt doctoren met het stellen van diagnoses, rechters met het vaststellen van de strafmaat, banken met het maken van beslissingen over leningen en verzekeringen. Die denkondersteuning dient doelen uit het boekje van bedrijfsconsultants: we gebruiken slimme technologie om een kwaliteitsimpuls te geven en een efficiëntieslag te maken – en meer van dat soort dingen. Ik geloof ook wel dat dat werkt. Vaak zal het lukken om beslissingen met A.I. gemakkelijker te maken.


De vraag is alleen wel hoe het allemaal optelt. In een samenleving zijn beslissingen nogal belangrijke dingen. Ons bestaan hangt van beslissingen aan elkaar. Is het verstandig om die vervolgens één voor één, met de beste intenties, uit te besteden aan een computer? 


We hebben natuurlijk wel eerder technologie ontworpen om ons denken te ondersteunen. Als we even met zevenmijlslaarzen door de porseleinkast van de geschiedenis stampen, dan speelde de vraag of het verstandig was om het denken aan technologie uit te besteden al wel vaker. We vroegen het ons ook al af bij de uitvinding van de getallen, het schrift, de rekenliniaal, telecommunicatie, de rekenmachine, de computer en het internet. Al deze technologieën hebben de samenleving ingrijpend veranderd, maar maar weinig mensen zullen zeggen dat het achteraf gezien onverstandig was om ze in gebruik te nemen. Er is dus op zichzelf niets tegen brein-ondersteunende technologie. Waarom zou het voor A.I. anders zijn?


Één belangrijk verschil zit hem in de manier waarop A.I. beslissingen neemt. Zij doet dat door te leren van menselijke beslissingen. Het Amerikaanse bedrijf Amazon gebruikte A.I om ze te helpen sollicitanten te selecteren. Op basis van gegevens van mensen die eerder bij het bedrijf solliciteerden, berekende een computer hoe kansrijk het was dat een nieuwe sollicitant zou worden aangenomen. Er ontstond een relletje toen dat selectie algoritme een sterke voorkeur bleek te hebben voor mannelijke kandidaten. Het algoritme had allerlei dingen uit het menselijke beslissingsproces overgenomen, inclusief het seksisme dat binnen dit bedrijf gangbaar was.


Het verhaal leert ons dat A.I. conservatieve technologie is. Het is niet toevallig zo dat het Amazon algoritme het seksisme van de medewerkers reproduceerde, het is in de regel zo dat deze technologie de manier waarop beslissingen in het verleden genomen zijn, herhaalt. Dat is het hele idee. A.I. leert van de beslissingen van het verleden om de beslissingen van nu te kunnen ondersteunen. Deze verknoping van de technologie aan het menselijk handelen is wezenlijk anders dan andere technologieën in het rijtje erboven. Rekenmachines zijn als technologie veel neutraler. Waar de rekenmachine denkkracht vrij kan maken om nieuwe ideeën te bedenken, bindt A.I. ons impliciet aan het denken van gisteren. 


Het voorbeeld van Amazon laat ook meteen zien waarom er de laatste tijd zoveel over responsible A.I. (verantwoordelijke A.I.) gesproken wordt. Blijkbaar is een gebrek aan verantwoordelijkheid een probleem bij de inzet van A.I. dat nog opgelost moet worden. Het is ook niet zo vreemd om dit te bedenken. Als mensen besluiten nemen kunnen ze ter verantwoording geroepen worden, maar bij een algoritme kan dat niet. Wie is er verantwoordelijk als een zelfrijdende auto een ongeluk veroorzaakt? De bestuurder deed niets, de fabrikant kon niet weten dat deze situatie zich voor zou doen. Het is een algemeen probleem bij de inzet van A.I. Naarmate beslissingen meer op basis van A.I. genomen worden wordt het moeilijker verantwoording af te leggen over die beslissingen.


Kortom: hoe meer we het beslissen aan technologie overlaten hoe meer we het inruilen voor hoe het nu eenmaal gaat en wat nu eenmaal het beste is. Vaak is dat een goed idee: we winnen er tijd mee die we beter kunnen gebruiken en de kwaliteit van sommige beslissingen die met A.I. genomen zijn, is aantoonbaar hoger dan de menselijke beslissingen die er door vervangen worden. Maar die winst kent ook een prijs die we niet altijd in het oog hebben. 

Eigenlijk kun je zeggen dat het vergemakkelijken van beslissingen het vertrouwen erin ondergraaft. Het automatiseren van besluitvorming holt de verantwoordelijkheid van ons handelen uit. Hoe meer we ons doen en laten verweven in ingewikkelde systemen, hoe lastiger het wordt om de vinger op de zere plek te leggen als het eens mis gaat en hoe moeilijker het wordt om iets te veranderen. Je hoeft alleen maar naar het systeemfalen in de toeslagenaffaire te kijken om te zien hoe desastreus dat kan zijn. 


Dus nee, computers moeten niet overal over meebeslissen. We zullen soms een trager, duurder of slechter besluit moeten accepteren, simpelweg om iemand te hebben om mee na te kunnen gaan hoe het ooit genomen is.


Meer lezen?
Ik schreef al eens kritisch over A.I. in de rechtszaal in A Piori en in de criminaliteitsbestrijding in Glazen Bol. De analyse in dit blogje volgt een logica die gangbaar is in de media-ecologie. Dat dit is niet zonder haken en ogen, beschreef ik uitgebreid in media.

Samenloop

“Vind je dat niet een beetje link?”, vroeg ik een collega toen hij een stapel stenen soepkommen op de rand van een balustrade plaatste. Een verdieping lager was een ruimte met flexplekken voor studenten. Het is al jaren geleden, maar zijn antwoord is me altijd bijgebleven. “Verantwoordelijkheid is een netwerk” zei hij. Hij bedoelde iets in deze geest: elke gebeurtenis is een samenloop van omstandigheden; er ligt een keten van oorzaken aan ten grondslag.

Stel je voor dat de soepkommen van de rand zouden vallen en een student zouden verwonden. Dat komt net zo goed door diegene die ze van de balustrade afstoot als door diegene die ze er opgezet heeft; of door de student die op zo’n onhandig plek is gaan zitten: of door de catering die met stenen in plaats van met plastic soepkoppen werkt; of de collega die ze zag staan en ze niet weghaalde; of door de architect die de flexplekken onder zo’n potentieel gevaarlijke richel geplaatst heeft. En zo kun je nog wel even doorgaan. De meeste oorzaken zijn ook maar als gevolg begonnen. Ik heb er maar even een tekening van gemaakt.

netwerk droog

Dit plaatje is op zichzelf niet eens zo heel interessant. Maar, het punt is dat je voor elke gebeurtenis die je kan bedenken zo’n plaatje kan tekenen. Er zijn meerdere oorzaken aan te wijzen voor het feit dat je vanochtend wakker werd, dat je thee minder heet is dan je zou verwachten, dat de zon schijnt en dat je dit blogje leest – en aan elk van die oorzaken zit weer een keten van oorzaken vast. Alles wat er gebeurd is met elkaar verbonden.

Op dat feit kan je prima een hele spirituele gedachtegang bouwen, maar vaak zit het ons nogal in de weg. Ons brein wil de complexiteit van het hele netwerk dat aan een gebeurtenis ten grondslag ligt graag terugbrengen tot één of, heel misschien, twéé oorzaken.

Misschien heb je in het voorbeeld hierboven -zo ongeveer toen ik over de verantwoordelijkheid van de architect begon – wel gedacht: maar dat is wel heel erg ver gezocht. Dat is precies wat ik bedoel. Je brein werd wanhopig van de uitgebreidheid van de keten van oorzaken die ik aandroeg en probeerde er alles aan te doen om het klein te houden. Misschien is het daar nog mee bezig. Dat snap ik best.

Ik geef je ook geen ongelijk. Het denkt gewoon een stuk vlotter met eenvoudige voorstellingen van zaken dan met complexe. Dus …: hoe perk je je in?

Één manier is om alleen directe oorzaken aan te wijzen. Je begint  bij de gebeurtenis zelf en telt alleen die dingen die daar direct toe geleid hebben mee. Dit lijkt heel zuiver. Een besluit van je baas veroorzaakt loonsverhoging; een virus veroorzaakt verkoudheid. Het probleem is dat dit vaak heel onbevredigend is. In het soepkoppen voorbeeld is het omgooien van de soepkoppen een directe oorzaak, het gevaarlijk wegzetten niet. Als iemand met zijn dronken kop tegen een boom rijdt is een stuurfout de directe oorzaak, niet het dronkenschap. En… waarom besloot je baas eigenlijk tot loonsverhoging? Bij een directe-oorzaken-strategie vallen die dingen die we het meest belangrijk of interessant vinden vaak juist buiten beschouwing. Meestal, zeker in het geval van een loonsverhoging, vinden we de diepere oorzaken belangrijker.

Het kan dan een betere strategie zijn om een cirkel van invloed te tekenen. Bij een cirkel van invloed kijk je niet zozeer naar de hele samenloop van omstandigheden, maar naar dat stuk dat onder jouw invloed staat. Mijn collega kon niet zorgen voor plastic koppen, maar wel zorgen dat hij de stenen versies niet zo enorm gevaarlijk wegzette. De architect kon het gedrag van de catering, of mijn collega, niet veranderen, maar kon wel zorgen dat dit soort gevaarlijke situaties onwaarschijnlijk werden. Als iedereen nu vanuit zijn of haar cirkel van invloed het goede deed was de wereld een paradijs.

Of, nou ja, misschien ook niet. Het cirkel-van-invloed denken is een handig benadering en het zou waarschijnlijk wel werken als we allemaal dezelfde doelen nastreefden, maar dat is niet zo. Hierdoor maken we voortdurend de verkeerde inschattingen over de grootte van onze cirkel van invloed.

Het probleem is dat iedere beslissing een verandering teweeg kan brengen in meerdere cirkels-van-invloed tegelijk. Als de architect uit het soepkommenvoorbeeld rekening moet houden met elke oen die later in zijn gebouw gaat werken en elke gevaarlijke situatie wil voorkomen, dan neemt hij veiligheid heel serieus. Maar, je kunt op je vingers natellen dat er een draak van een gebouw uit komt. Hij tekent een grote ‘veiligheidscirkel-van-invloed’, maar dat gaat ten koste van zijn ‘leefbaarheidscrikel-van-invloed’ of zijn ‘kostencirkel-van-invloed’. Een duivels dilemma.

De andere kant van die medaille is dat als niemand buiten zijn cirkeltje durft te kijken, we de problemen met diepere oorzaken niet op kunnen lossen. We kunnen als consumenten duurzame boodschappen doen zoveel we willen, als we niet òòk zorgen dat het bedrijfsleven en de politiek hun verantwoordelijkheden nemen kunnen we de klimaatverandering niet oplossen. We moeten buiten onze normale cirkel van invloed opereren omdat andere partijen andere doelen nastreven dan wij. Lastig.

Gelukkig is er nog een derde strategie over. Je kunt ontrafelen. Heel zorgvuldig breng je het totale netwerk van oorzaken in kaart, van elke oorzaak stel je vast hoe direct, beïnvloedbaar en belangrijk die is en dan kun je een zorgvuldige afweging maken over welke combinatie van strategieën het makkelijkst kan voorkomen dat er een soepkom op het hoofd van een student valt.

Ik kom die strategie soms tegen bij historici, die allerlei omstandigheden aanwijzen die geleid hebben tot een bepaalde gebeurtenis in de geschiedenis of bij sociale wetenschappers die een heel netwerk van psychologische of sociale mechanismen proberen bloot te leggen en soms ook proberen door te meten. De gedachte is dat als je eerst een overzicht schetst van alle oorzaken en hun invloeden, dat je daarna kunt beslissen wat doorslaggevend is. Wacht! Dit teken ik ook even uit.

netwerk ontrafelt

Mooi hè? Als je dat je door dit plaatje ineens het licht ziet en roept: “oh zó zit het dus met die gevaarlijke soepkommen”, hoor je waarschijnlijk bij de uitzonderingen. Omdat de ontrafelstrategie alle verbanden ook nog eens van een gewicht voorziet maakt deze het vaak eerder ingewikkelder dan eenvoudiger. Je ziet eigenlijk door de rafels het netwerk niet meer.

Is er dan niets aan te doen? Nee, denk ik. Dat bijna elke gebeurtenis een gevolg is van een samenloop van omstandigheden, waar we ons hoofd nooit helemaal omheen krijgen, is iets waar we mee moeten leren leven. Als de wereld te ingewikkeld voor ons is, moeten we met een eenvoudige versie werken. Maar wat we wèl kunnen doen is onthouden dàt we het doen. Niemand heeft de keten van oorzaken op de juiste manier in kaart, ook de ontrafelaars niet en niemand kan een monopolie hebben op een oplossing. Dat is misschien een ontnuchterende gedachte, maar van een handjevol bescheidenheid is nog nooit iemand dood gegaan.

Oh…. en die soepkommen hebben we natuurlijk gewoon weer veilig weggezet.

Meer lezen?

In verkoudheid besprak ik al eens hoe discussies mis kunnen lopen als we  vergeten dat dingen een samenloop van omstandigheden kunnen zijn. In groepsidentificaties en eerlijk vergelijken bespreek ik andere dingen die mis kunnen gaan in het alledaagse redeneren.