Neutraal

Er is een zinnetje dat je vaak tegenkomt, waar ik me enorm aan erger.

Puntjepuntje is niet neutraal.

Het wordt vaak een beetje bijtend uitgesproken met een nadruk op het woordje is en soms ook op niet. In plaats van puntjepuntje kan je van alles invullen. Technologie, rechtspraak, journalistiek, wetenschap, en nog een handjevol beroepen of instituties die blijkbaar de illusie koesteren neutraal te zijn. Voor het snerende gemak noem ik de mensen die dit roepen even ‘de ontmaskeraars’

Daar zijn er veel van hoor. Als je nu nog steeds denkt dat technologie neutraal is dan heb je blijkbaar de laatste tijd de krant niet gelezen. Hetzelfde geldt trouwens voor de wetenschap en in toenemende mate ook de journalistiek en rechtspraak. Wil je in het debat van vandaag een beetje scoren, dan moet blijkbaar zeker stellen dat puntjepuntjes allemaal waardengedreven praktijken zijn en dat het de puntjepuntje-professionals zou sieren om eindelijk eens kleur te bekennen. D66.

Nu is het mij eigenlijk nooit opgevallen dat engineers beweren dat technologie neutraal is, of wetenschappers dat kennis neutraal is, of zelfs amper dat journalisten zeggen dat hun berichtgeving neutraal is. Volgens mij beweren deze professionals dat ze neutraliteit nastreven. Ze bekennen al kleur door te zeggen dat neutraliteit blijkbaar een kernwaarde, een ideaal voor ze is.

Nu hebben neutraliteit als feit en neutraliteit als ideaal volgens mij een ingewikkelde relatie, dus laat ik dat even uitpakken.

Neutraliteit als feit

Ergens is het een absurd idee dat technologie neutraal kan zijn. Het is immers gemaakt met een bedoeling – en bedoelingen zijn per definitie niet neutraal. We krijgen allemaal de kriebels als we iemand van de National Rifle Association (NRA) horen zeggen dat: “guns don’t kill people, people kill people”.

Toch is het onderscheid dat deze engerds maken relevant. Je kunt immers kijken naar de bedoeling van de techneuten en naar het gebruik van de technologie – en die komen niet altijd overeen. We weten dat mensen vaak andere dingen doen met technologie dan waar deze voor bedoeld is, of dat de technologie een eigen leven gaat leiden. En als dat zo is, wie is er dan verantwoordelijk voor het gebruik van de technologie: de ontwerper of de gebruiker?

Flauw zul je zeggen. Laat het NRA-voorbeeld niet duidelijk zien dat de bedoeling van ontwerpers en de bedoeling van gebruikers per definitie gekoppeld zijn? Dan delen ze toch ook de verantwoordelijkheid voor het eindresultaat? Dat klopt natuurlijk, maar die koppeling is niet voor alle technologie even sterk. Bij geweren is het heel duidelijk, maar hoe zit het met schilmesjes, of computerchips?

Daarmee is de ‘neutraliteit’ van technologie niet een alles-of-niets-ding. Er is technologie die voor heel veel verschillende doeleinden gemaakt is en die is neutraler dan technologie die voor één situatie gemaakt is. Daarnaast kun je niet altijd voorzien hoe technologie ingezet wordt, dus kun je de neutraliteit ervan niet altijd vooraf inschatten.

Het is gewoon een feit: technologie is niet neutraal. De hamvraag is alleen wel: is het ook een nuttig feit? Het is ook een feit dat alle dieren gewicht hebben, maar dat helpt niet zoveel bij het vergelijken van muggen en olifanten. Die hebben zeker allebei gewicht, maar je wil toch een gesprek voeren over hoeveel zwaarder een olifant wel niet is. Zo is het ook met de neutraliteit van technologie. In plaats van te hameren op neutraliteit als een alles-of-niets-ding, zou het beter zijn het als een meer-of-minder-ding te benaderen. Computerchips zijn neutraler dan wapens. Spijkers zijn behoorlijk neutraal. Dat soort uitspraken.

Neutraliteit als ideaal

Dat brengt ons bij neutraliteit als ideaal. Als neutraliteit een meer-of-minder-begrip is, dan kan je proberen zo neutraal mogelijk te zijn. Het duidelijkste voorbeeld hiervan vinden we misschien in de journalistiek. Veel journalisten zien het als hun taak de wereld te beschrijven zoals die is, en niet om daar stelling in te nemen. Ze zijn er zich van bewust dat je op meerdere manieren naar de wereld kan kijken, maar daar willen ze liever geen keuze tussen maken. Ze willen een buitenstaander zijn en belichten liever meerdere kanten van het verhaal door het principe van hoor en wederhoor toe te passen.

Klinkt goed, toch? Misschien is de journalistiek niet perfect in de uitvoering, maar op de keper beschouwd is neutraliteit een prima ideaal.

Nou ja. Er is best kritiek op te geven. Soms schiet de praktijk zijn doel voorbij. Zo heeft de journalistiek lang onevenredig veel aandacht gehad voor klimaatsceptici. Er was brede wetenschappelijke consensus over klimaatverandering, maar journalisten vonden het hun taak om ook het perspectief van de kriticasters in beeld te brengen. Daardoor ontstond bij lezers het idee dat die klimaatverandering hoogst discutabel was. Inmiddels kiezen de meeste journalisten in dit dossier vaker partij voor de wetenschap.

Er zijn dus voorbeelden te geven waar neutraliteit, of tenminste een bepaalde invulling ervan, onethisch kan zijn. Maar critici van neutrale journalistiek hebben nog een pijl op hun boog. Namelijk dat journalisten ondanks hun poging tot neutraliteit wel degelijk stelling nemen in een debat omdat ze hun stukken nu eenmaal vanuit een bepaald standpunt en bevoorrechte positie schrijven. De kritiek is dat ze door de pretentie van neutraliteit verantwoordelijkheid ontlopen.

Want als journalisten neutraal doen terwijl ze het niet zijn, hoe moeten we ze dan nog op hun standpunt aanspreken? Neem een nieuwsbericht over criminaliteit onder immigranten. Misschien is die de laatste tijd toegenomen. Een journalist kan zich beroepen op zijn neutraliteit en bijvoorbeeld zeggen dat hij alleen maar de feiten in kaart gebracht heeft. De criticus kan zeggen dat deze neutraliteit niet zoveel waard is, zolang de journalist niet ook over criminaliteit onder geboren Nederlanders schrijft. Binnen het artikel kan een journalist alles gedaan hebben wat nodig is, maar wat hier niet neutraal is, is de keuze voor het onderwerp zelf.

Een oplossing is reflexieve journalistiek, waar de journalist geen neutraliteit veinst, maar eerder de lezer meegeeft over waar hij zelf staat. Dit maakt kritiek mogelijk, en vanuit die kritiek ook een lerende journalistiek, maar het heeft ook nadelen. Reflexieve journalisten geven de missie op om hoeders te zijn van een gedeelde werkelijkheid. Ik vind dat jammer. Er is echt wat te zeggen voor een vrij strikte scheiding van feit en opinie.

De grote spraakverwarring

Ik geef het je op een briefje. Negen van de tien keer dat iemand beweert dat puntjepuntje ‘niet neutraal is’, bedoelen ze niet dat puntjepuntje niet neutraal is, maar dat de professionals achter het puntjepuntje te weinig rekenschap geven van de keuzes die ze maken. Waarom zijn bepaalde feiten geselecteerd? Welke bedoelingen heeft de technologie? Welke principes liggen ten grondslag aan een uitspraak? Dat soort werk. Dat vind ik legitieme vragen en het zou goed zijn als de ontmaskeraars die discussie zouden aanzwengelen.

Maar dat doen ze meestal niet. Ik ken eigenlijk weinig grotere dooddoeners dan het puntjepuntje-is-niet-neutraal-zinnetje. Wat er meestal gebeurt is dat de ontmaskeraars hun puntjepuntje-bezwering uitspreken en dan lekker achterover leunen met de rust van een debater die de feiten aan zijn kant heeft.

En daarna gebeurt er helemaal niets. De ontmaskeraars stellen namelijk geen vragen die de puntjepuntje-professionals uitnodigen om dieper na te denken over hun positie en die beter toe te lichten. Ze vragen niet: “hee op welke manieren kan deze technologie nog meer gebruikt worden en voel je je daar verantwoordelijk voor?” of “hee dit verhaal belicht keurig beide kanten, maar is er nog niet een derde perspectief dat aandacht verdient?”.

Ik vind het niet zo vreemd dat de puntjepuntje-professional dan niet denkt: oh laat ik eens flink zelfonderzoek doen naar mijn blinde vlekken en privileges en die voortaan beter meenemen in mijn werk. Die denkt: ‘Hee, natuurlijk zijn puntjepuntjes niet neutraal, maar ik heb mijn best gedaan om zo neutraal mogelijk te zijn. Daar is behoefte aan! Een beetje meer respect graag.

En ik geef de puntjepuntje-professionals dus groot gelijk.

Lieve ontmaskeraars: aan sommige feiten moet je gehecht zijn. Dat het leven zuurstof nodig heeft. Dat groenten gezonder zijn dan snoepjes. Dat de gelegenheid de dief maakt. Dat soort feiten.

Maar het zou ons allemaal helpen ons een beetje te onthechten van het puntjepuntje-neutraal-feit. Goed. Neutraliteit bestaat misschien niet. Puntjepuntjes zijn nooit honderd procent neutraal. Maar vanwaar het gepest en gedram? In het kippenhok van de moderne wereld, snakken we soms naar een beetje neutraliteit. En daar komt bij dat neutraliteit geen alles-of-niets-ding is en rekenschap trouwens ook niet. Als we nu erkennen dat neutrale puntjepuntjes soms meer dan welkom zijn én dat het knap lastig kan zijn om ze te maken, dan kunnen we daarna met elkaar in gesprek. En volgt rekenschap vanzelf.

Meer lezen?

Ik schreef al eens over het verschil tussen feiten en idealen in doelkennis en waar. Ik schreef al eerder over het moderne medialandschap in bubbel en media.

0 Reacties Een reactie plaatsen

Kencultuur

Veel onderzoekers waar ik mee werk verwonderen zich over hoe ingewikkeld het is om samen te werken. Nu is samenwerken in het algemeen lastig, maar het blijkt extra lastig als jij en je collega’s andere studies gevolgd hebben en nòg lastiger als je dan ook nog samen iets nieuws wilt ontdekken. Dat kan namelijk op verschillende manieren en als je niet begrijpt waarom de ander een andere aanpak wil volgen en wat de waarde daarvan is, dan wil het nog wel eens ingewikkeld worden.

In samenwerkingen tussen onderzoekers uit verschillende disciplines spelen epistemische culturen een rol. Althans dat is wat Karin Knorr Cetina beweert in haar boek met deze titel. K.K. – zoals ze het zelf afkort – is een sociologe die de totstandkoming van wetenschappelijke kennis bestudeert. Ze heeft maandenlang in een laboratorium observaties gedaan en mensen gesproken, en daar conclusies uit geprobeerd te trekken over hoe die wetenschappers te werk gingen bij het doen van Heel Belangrijke Ontdekkingen.

Om precies te zijn vergelijkt K.K. in haar boek twee verschillende laboratoria. De deeltjesversneller in CERN, waar kernfysici kleine deeltjes met hoge energie op elkaar laten botsen in de hoop beter te begrijpen hoe subatomaire deeltjes zich gedragen. En een microbiologie-lab waar wetenschappers zich bezighouden met genetica, genetische modificatie en klonen, en waar proeven doorgaans gedaan worden door proefdieren te opereren.

Die keuze is van belang. Stel dat K.K. de praktijken van taalwetenschappers en natuurkundigen vergeleken had – en daarna tot de conclusie gekomen dat die heel anders werken – dan was niemand heel verbaasd geweest. Maar kernfysica en microbiologie zijn allebei harde bètawetenschappen, dus je zou misschien kunnen verwachten dat ze ongeveer hetzelfde werken.

Niet dus. Het CERN is een hoogtechnologische omgeving met apparaten die zo ingewikkeld zijn dat de meeste onderzoekers ze amper begrijpen. Elke botsing levert een ton aan data op. Er gaat heel veel werk zitten in het interpreteren van die data en uitsluiten dat de metingen op toeval berusten. Dat kan alleen collectief. Het CERN is een wereld van apparaten, symbolen en berekeningen; het Higgs-boson vinden teamwerk.

Het microbiologielab is heel anders. Onderzoekers moeten hun handen vuil maken, ze moeten met reageerbuisjes, microscopen, preparaten kunnen werken. Ze moeten muizen kunnen opereren met mini-scalpeltjes. In de microbiologie telt de directe waarneming en de fysieke vaardigheid van de onderzoeker. Het is een veel individuelere discipline waar onderzoekers parallel aan elkaar aan hun eigen onderzoek werken in plaats van samen op zoek te gaan naar een deeltje dat alleen nog in theorie bestaat.

Door deze vergelijking te trekken laat K.K. zien dat er verschillen zijn tussen de manieren waarop verschillende wetenschappen aan kennis komen en verschillen in hoe ze toetsen of die kennis ook boven elke twijfel verheven is; en dat die verschillen zich weer vertalen in de technische omgeving waarin wetenschappers werken, de werkpraktijken die ze onderhouden, en de sociale structuren die daar uit voortvloeien. Samen noemt ze dit ‘epistemische culturen’, wat ik voor dit blogje even in ‘kencultuur’ vertaald heb.

Het zou natuurlijk kunnen dat je nog altijd niet verrast bent. Dat je wel wist dat wetenschap veelvormig is. En dat je het vanzelfsprekend vindt dat de praktijken die je kiest voortvloeien uit datgene wat je probeert te leren kennen. Ik moet zeggen dat ik dat zelf ook had. Ik vond K.K. niet superscherp op het verschil tussen ‘culturen’ en ‘aanpakken’, ik was weinig verrast door de verschillen in de twee labs die ze bezocht en ik vond de schets daarvan wel wat karikaturaal.

Toch is de analyse van K.K. een belangrijke reality-check. In de eerste plaats voor die wetenschapsfilosofen die wetenschap wèl als uniform benaderen of die vooral uitgaan van de discipline die ze het beste kennen. Het zou natuurlijk kunnen dat er op een bepaald niveau van abstractie wel principes zijn te formuleren die voor alle wetenschappen gelden. Ik moet bijvoorbeeld denken aan het falsificatie-idee van Karl Popper. Maar als je aan dat soort principes vasthoudt, weet je meteen dat ze zo abstract zijn dat ze weinig met de alledaagse praktijk van wetenschappers te maken hebben.

En in de tweede plaats voor wetenschappers die de grenzen van hun discipline willen overstijgen. Daar begon ik dit blogje mee. Vanuit de cultuur waarin je bent opgegroeid krijg je natuurlijk waarden en normen mee. Je hebt ideeën over wat werkt en wat nodig en goed is. Het is al een ding te herkennen dat anderen het anders doen, laat staan om te erkennen dat die cultuur misschien beter past bij het soort problemen waar zij aan werken. Sociaal psychologen zijn misschien niet gebaat bij een ‘natuurkundige manier van denken’, hoeveel moeilijke problemen die laatsten er wel mee opgelost hebben. Taalkundigen zijn misschien niet, of maar zeer ten dele, gebaat bij kwantitatief onderzoek. En zo kunnen we wel even doorgaan. Het overstijgen van je eigen discipline vraagt om bescheidenheid en een culturele sensitiviteit die niet iedereen gegeven is.

Meer lezen?
Ik schreef eerder over de sociologie van de wetenschap in Lableven en De zwarte dozen van Latour. Een voorbeeld van een wetenschapsfilosofie die discipline overstijgend bedoeld is vind je in Het probleemoplossend vermogen van Larry Laudan.

Een uitgebreide bloemlezing van kenculturen schreef ik niet, maar ‘ontwerpen’ als discipline kreeg wel bijzondere aandacht in ontwerpkennis, doelkennis en ontwerperig.

Het boek van Karin Knorr Cetina is nog altijd te verkrijgen bij Harvard University Press

3 reacties Een reactie plaatsen

Toekomstindustrie

Ik weet niet hoe het met jullie zit, maar ik kan geen LinkedIn-post over generatieve AI meer zien. Het is niet dat ik het niet leuk vind hoor… -dat je een guitig zinnetje tikt en dat dan een slimme computer een prachtige tekst, een schitterend plaatje of een geloofwaardig filmpje kan uitspugen. Het is meer dat ik het niet trek hoe mensen reageren op deze nieuwe mogelijkheden.

Nieuwe technologieën, waar knappe dingen mee kunnen, maken altijd een legertje van cynici, experts, “experts”, duiders en ondernemende geesten wakker, met een breed gevolg van ander klapvee. Mensen die opstaan, het technieuws bij het ontbijt doornemen, en snappen dat ‘het speelveld’ veranderd is. Voorgoed. Dat ze zich maar beter kunnen positioneren ten opzichte van de nieuwe werkelijkheid die door deze technologie gaat ontstaan. Het zijn typisch ook mensen die zich graag roeren op sociale media en mensen die me blij maken dat ik de overgang van Twitter naar X aan me voorbij heb laten gaan.

Het geheel doet me denken aan een boekje van Rein de Wilde dat misschien door te weinig mensen, zeker te weinig van déze mensen, gelezen is. ‘De Voorspellers’ heet het; ‘Een kritiek op de toekomstindustrie’. Het gaat over hoe nieuwe technologieën steeds aanleiding zijn tot verhalen over hoe deze technologieën ons gaan beïnvloeden, wat er klopt aan deze verhalen, maar vooral ook wat er niet klopt. Over hoe dit soort verhalen meer gestuurd worden door toekomstbeelden die voldoen aan maatschappelijke behoeften: welke verhalen ‘verkopen’, dan door wat realistisch gezien verwacht mag worden van nieuwe technologie.

Onze fascinatie voor de toekomst is sowieso al erg groot, maar zodra er nieuwe technologie in het spel komt die ons toch al luxe, Westerse leventje nòg iets comfortabeler lijkt te gaan maken, gaan we met zijn allen helemaal aan. De vraag naar voorspellingen, trendrapporten en scenariostudies valt niet meer bij te benen. Zeker niet zodra een technologie het label ‘revolutionair’ krijgt. En dat is nogal vaak, want mensen in de toekomstindustrie hebben ook gezinnen die moeten eten en op vakantie willen.

Het zou misschien niet zo erg zijn als ‘de voorspellers’ iets zouden weten van de impact van nieuwe technologie op de samenleving. Die is meestal relatief klein. Niet omdat technologieën de samenleving niet beïnvloeden, maar wel omdat alles altijd heel ingewikkeld is. Omdat we heel veel technologieën tegelijk gebruiken waardoor het nieuwe joch in de buurt – zeg Instagram, of ChatGPT- wel íets verandert, maar lang niet àlles.

Er zijn wel technologieën die de samenleving ingrijpend veranderd hebben: het schrift, de stoommachine, elektriciteit, telecommunicatie. Die deden er allemaal erg lang, dat wil zeggen de uitvinding van tientallen concrete technische oplossingen, over voordat we de effecten merkten. Daarbij komt: ‘Generatieve AI’ past echt niet in dit rijtje. Het kan zich niet meten met de gloeilamp. Misschien wel met de CD speler, maar we weten hoe het daarmee is afgelopen.

Afijn. De kritiek van Rein de Wilde is dat de toekomstindustrie geneigd is om de relatie tussen technologie en de samenleving als monolithisch -een moeilijk woord voor eenduidig- voor te spiegelen. Er is één aspect van de nieuwe technologie die zo bijzonder is en zo succesvol – dat dit aspect onderdeel uit gaat maken van onze cultuur. ‘Sociale media gaan ons allemaal verbinden waardoor culturele verschillen tussen groepen in de samenleving als sneeuw voor de zon gaan verdwijnen’. Dat werk.

Daar zijn twee dingen mis mee. Ten eerste werkt het zo niet. Elke nieuwe technologie werpt een subtiel net uit van dingen die er door veranderd worden, dingen die juist niet veranderen of juist versterkt worden. En alsof dat niet erg genoeg is passen we ons daar als samenleving ook nog op aan op allerlei verschillende manieren. Iedereen die denkt dat ze deze co-evolutie van technologie en samenleving precies kan voorspellen is een idioot.

Ten tweede legt De Wilde haarfijn bloot dat de voorspellingen van mensen uit deze industrie nooit neutraal zijn. Ze grijpen in op bepaalde utopische ideeën over de samenleving, idealen die door technologie verwezenlijkt kunnen worden. Dat is een begrijpelijke gedachte, technologie dient om de dingen waar we van dromen waar te maken, maar doordat mensen uit de toekomstindustrie deze idealen presenteren als een onvermijdelijke ontwikkeling plaatsen ze die idealen buiten de discussie.

Soms is dat: wat we willen met bepaalde technologie en vooral of we dat wel moeten willen, de kern van de discussie die we zouden moeten voeren. Met Rein de Wilde, denk ik dat de retorische stijl van de toekomstindustrie deze discussie bemoeilijkt in plaats van bevordert. In een notendop is dit dus mijn advies. Laat de toekomstindustrie links liggen en besteed meer aandacht aan de wenselijkheid van nieuwe technologie. Laten we, vandaag nog, de vraag of we generatieve AI wel willen, eens centraal stellen.

Meer lezen?

Ik sprak over voorspellingen in peilingen. waar, vooruitgang en in opdracht van de tijd.

Het boekje van Rein de Wilde is niet meer in druk, maar het is goed verkrijgbaar en de moeite van het lezen waard.

1 reactie Een reactie plaatsen

Computerbesluit

Is het wel slim om computers overal over mee te laten denken?

Ik stel de vraag natuurlijk omdat artificiële intelligentie (A.I.) een enorme hype is. Meestal gaan hypes ongemerkt weer voorbij, maar met A.I. zou dat wel eens anders kunnen zijn. We delegeren steeds meer beslissingen aan computers: A.I. helpt doctoren met het stellen van diagnoses, rechters met het vaststellen van de strafmaat, banken met het maken van beslissingen over leningen en verzekeringen. Bedrijfsconsultants zullen die denkondersteuning geweldig vinden: we gebruiken slimme technologie om een kwaliteitsimpuls te geven en een efficiëntieslag te maken – en meer van dat soort dingen. Ik geloof ook wel dat dat werkt. Vaak zal het lukken om beslissingen met A.I. gemakkelijker te maken.

De vraag is alleen hoe dit alles bij elkaar opgeteld uitpakt. In een samenleving zijn beslissingen nogal belangrijke dingen. Ons bestaan hangt van beslissingen aan elkaar. Is het verstandig om die vervolgens één voor één, met de beste intenties, uit te besteden aan een computer?

We hebben natuurlijk wel eerder technologie ontworpen om ons denken te ondersteunen. Als we even met zevenmijlslaarzen door de porseleinkast van de geschiedenis stampen, dan speelde de vraag of het verstandig was om het denken aan technologie uit te besteden al wel vaker. We vroegen het ons ook al af bij de uitvinding van de getallen, het schrift, de rekenliniaal, telecommunicatie, de rekenmachine, de computer en het internet. Al deze technologieën hebben de samenleving ingrijpend veranderd, maar maar weinig mensen zullen zeggen dat het achteraf gezien onverstandig was om ze in gebruik te nemen. Er is dus op zichzelf niets tegen breinondersteunende technologie. Waarom zou het voor A.I. anders zijn?

Één belangrijk verschil zit hem in de manier waarop A.I. beslissingen neemt. Zij doet dat door te leren van menselijke beslissingen. Het Amerikaanse bedrijf Amazon gebruikte A.I. om ze te helpen sollicitanten te selecteren. Op basis van gegevens van mensen die eerder bij het bedrijf solliciteerden, berekende een computer hoe kansrijk het was dat een nieuwe sollicitant zou worden aangenomen. Er ontstond een relletje toen dat selectiealgoritme een sterke voorkeur bleek te hebben voor mannelijke kandidaten. Het algoritme had allerlei dingen van menselijke beslissingen overgenomen, inclusief het seksisme dat binnen dit bedrijf gangbaar was.

Het verhaal leert ons dat A.I. conservatieve technologie is. Het is niet toevallig zo dat het Amazon-algoritme het seksisme van de medewerkers reproduceerde, het is in de regel zo dat deze technologie de manier waarop beslissingen in het verleden zij genomen, herhaalt. Dat is het hele idee. A.I. leert van de beslissingen van het verleden om de beslissingen van vandaag te kunnen ondersteunen. Deze verknoping van de technologie aan het menselijk handelen is wezenlijk anders dan andere technologieën in het rijtje erboven. Rekenmachines zijn als technologie veel neutraler. Waar de rekenmachine denkkracht vrij kan maken om nieuwe ideeën te bedenken, bindt A.I. ons impliciet aan het denken van gisteren.

Het voorbeeld van Amazon laat ook meteen zien waarom er de laatste tijd zoveel over responsible A.I. (verantwoorde A.I.) gesproken wordt. Blijkbaar is een gebrek aan verantwoordelijkheid een probleem bij de inzet van A.I. dat nog opgelost moet worden. Het is ook niet zo vreemd om dit te bedenken. Als mensen besluiten nemen kunnen ze ter verantwoording geroepen worden, maar bij een algoritme kan dat niet. Wie is er verantwoordelijk als een zelfrijdende auto een ongeluk veroorzaakt? De bestuurder deed niets, de fabrikant kon niet weten dat deze situatie zich voor zou doen. Het is een algemeen probleem bij de inzet van A.I. Naarmate beslissingen meer op basis van A.I. genomen worden, wordt het moeilijker verantwoording af te leggen over die beslissingen.

Kortom: hoe meer we het beslissen aan technologie overlaten, hoe meer we denken inruilen voor hoe het nu eenmaal gaat en wat nu eenmaal het beste is. Vaak is dat een goed idee: we winnen er tijd mee die we beter kunnen gebruiken en de kwaliteit van sommige beslissingen die met A.I. genomen zijn, is aantoonbaar hoger dan de menselijke beslissingen die erdoor vervangen worden. Maar die winst kent ook een prijs die we niet altijd zien.

Eigenlijk kun je zeggen dat het vergemakkelijken van beslissingen het vertrouwen erin ondergraaft. Het automatiseren van besluitvorming holt de verantwoordelijkheid van ons handelen uit. Hoe meer we ons doen en laten verweven in ingewikkelde systemen, hoe lastiger het wordt om de vinger op de zere plek te leggen als het eens misgaat en hoe moeilijker het wordt om iets te veranderen. Je hoeft alleen maar naar het systeemfalen in de toeslagenaffaire te kijken om te zien hoe desastreus dat kan zijn.

Dus nee, computers moeten niet overal over meebeslissen. We zullen soms een trager, duurder of slechter besluit moeten accepteren, simpelweg om iemand te hebben om mee na te kunnen gaan hoe het ooit genomen is.

Meer lezen?
Ik schreef al eens kritisch over A.I. in de rechtszaal in A Piori en in de criminaliteitsbestrijding in Glazen Bol. De analyse in dit blogje volgt een logica die gangbaar is in de media-ecologie. Dat dit is niet zonder haken en ogen, beschreef ik uitgebreid in media. In De Chinese Kamer ga ik in op de vraag of dit soort algoritmen ook bewustzijn hebben.

2 reacties Een reactie plaatsen

Glazen Bol

Zou het nu toch werkelijkheid worden? Dat iedereen – of vooruit, misschien alleen bedrijven – gaan beschikken over een glazen bol waarin ze de toekomst kunnen zien? Ik las in de krant dat het algoritme oprukt in de bestuurspraktijk. Het “wenkende perspectief” is predictive policing. Met data komen we er straks achter waar in de stad bijstandsfraude, hennepaanplant of schoolverzuim het grootst is. Het bericht liet zien hoe big-data plannetjes werkelijk overal opduiken en hoe weinig we er bij stilstaan hoe wenselijk dat eigenlijk is.

Wenkend perspectief. Het zong nog wel even door mijn hoofd. Ik dacht: écht? Predictive policing? Onwillekeurig moest ik aan de film Minority Report denken. Drie “precogs” – een soort helderziende dames – liggen in een tank met draden aan hun hoofd en stellen de politie in staat misdaden te voorspellen; en zodoende ook te voorkomen. Totdat de precogs voorspellen dat een van de politieagenten, gespeeld door Tom Cruise, zelf een moord zal begaan. Spanning alom.

Dat beeld van die precogs is heel treffend. Het is magisch, technisch, realistisch. Niemand weet precies hoe die precogs kunnen voorspellen, maar de draden aan hun hoofd suggereren dat het allemaal heel hightech is – en dat het heus wel zal kloppen wat de dames voorzien. En wat maakt het ook uit dat we niet weten hoe het werkt, als de voorspellingen maar juist blijken te zijn. De vraag die in Minority Report aan de orde komt, is: “wat als de politie een hele goede glazen bol had”? Technische snufjes helpen om dat idee voor de moderne mens geloofwaardig te maken.

En daar staan we dan, met onze big data en algoritmes. Daarmee kunnen we de mensen van passende advertenties voorzien, we kunnen verkiezingen kantelen – en als het een beetje meezit, kunnen we binnenkort wat criminelen oppakken, nog voordat ze hun misdaad begaan hebben! Niemand weet precies hoe die algoritmen werken – ook de makers niet-, maar het perspectief lonkt alvast.

Wat moeten we hiervan denken? Ik was deze week bij een praatje van een mevrouw van Google, die goed uitlegde hoe dit soort algoritmes werken, maar ook een ontnuchterend verhaal hield over die hele big data hype. In een notendop was haar boodschap om er niet te veel achter te zoeken: big data is gewoon statistiek, maar dan beter. En: sciencefiction is een verkeerde raadgever als het om het begrijpen van nieuwe technologieën gaat.

Met dat eerste ben ik het eens, maar met dat laatste niet. De verwachtingen rondom big data zijn duidelijk overspannen. Het is gewoon statistiek en hoewel het aardig lukt om een idee te krijgen van welke boeken we interessant vinden zijn veel andere problemen nog veel te moeilijk voor computers. Maar science fiction geeft ons wel degelijk een inkijkje in wat er kan gebeuren als we ons te veel door die ontwikkelingen laten meeslepen. Minority Report legt het probleem, of eigenlijk de twee problemen, van het gebruik van zulke voorspellingen feilloos bloot.

Het eerste probleem is natuurlijk dat voorspellingen alleen maar accuraat kunnen zijn als we ze niet gebruiken. We kunnen voorspellen wat er allemaal voor naars gaat gebeuren door de klimaatverandering, maar als we daardoor de klimaatmaatregelen gaan treffen die ervoor zorgen dat het lekker koel blijft op aarde, dan komen die voorspellingen niet uit.

We voorspellen wat het klimaat gaat doen in de hoop het nog te kunnen veranderen. Maar als we het veranderen klopt de voorspelling niet meer. We kunnen dus niet tegelijkertijd een betrouwbare voorspelling doen en naar die voorspelling handelen. Het gebruik van de voorspelling haalt de basis – de aanname dat de dingen grosso modo hetzelfde blijven- onder de voorspelling weg.

Het tweede probleem is dat het oneerlijk is om iemand te straffen voor iets waarvan alleen maar voorspeld is dat hij het gedaan heeft. In Minority Report worden criminelen opgepakt voordat ze hun misdaad gedaan hebben; ze worden dus gestraft voor iets wat helemaal niet gebeurd is. Iedereen voelt aan dat daar iets niet in de haak is; hoe nauwkeurig die precogs ook mogen zijn.

Jammer genoeg doen we dit vaak genoeg. We voorspellen studiesucces om studiekeuze te bepalen, waarmee we het behalen van een slechte studievoorspelling afstraffen met een mindere opleiding.

Als voorspellingen alleen geldig zijn in een wereld die niet te beïnvloeden is, is het niet goed om het lot van mensen ervan afhankelijk te maken. We zadelen ze dan op met dingen die nog niet gebeurd zijn en dankzij de voorspelling misschien ook wel niet gaan gebeuren. Hoe goed we machines ook leren voorspellen, het gebruik ervan deugt gewoon niet.

Veel van de dingen die misschien gaan kunnen met big data en algoritmen moeten we dus helemaal niet willen. We gaan onszelf voor de gek houden door stevig in te zetten op voorspellingen, die we vervolgens intensief willen gebruiken. En die twee dingen gaan niet samen. Er is niets lonkends aan predictive policing: het is een nachtmerrie.

Gelukkig is er die andere vaststelling van de big data specialisten: het zal zo’n vaart niet lopen. Die big-data voorspellingen worden nooit zo goed als we nu denken; en we zullen, met vallen en opstaan, ook wel leren om er verstandig mee om te gaan.

Anderzijds, dit zijn natuurlijk ook maar voorspellingen.

Meer lezen?

In in opdracht van de tijd, ga ik uitgebreider in op wat er mis kan gaan als je switcht van voorspellen naar beïnvloeden. In IQ ga ik dieper in op de nadelen van het voorspellen van studiesucces. In zelfvervullend ga ik dieper in op de self-fulfilling prophecy.

6 reacties Een reactie plaatsen

In opdracht van de tijd

In 1917 brak in Rusland een zeer gewelddadige en langdurige revolutie uit. Geïnspireerd door het boek “Das Kapital” van Karl Marx, greep de Bolsjewistische partij van Vladimir Lenin de macht. Het zou het begin worden van meer dan een halve eeuw communisme.

“In opdracht van de tijd”, zo zagen Lenin en de zijne hun revolutionaire werk. Karl Marx had in “Das Kapital” de mechanismen van het kapitalisme blootgelegd en vastgesteld dat het systeem zich onvermijdelijk ten gronde zou richten, hetgeen weer zou ontaarden in een revolutie waarin de werkende klasse de macht greep. De “opdracht” die “de tijd” aan Lenin gegeven had, was het in gang zetten van deze onvermijdelijke revolutie. Met de kennis van nu lijkt het misschien een wat merkwaardige rechtvaardiging voor een revolutie: de geschiedenis die er toch wel aan komt te willen bespoedigen. Maar Lenin was intellectueel gezien de minste niet. In de visie van Karl Marx zouden die laatste jaren van het kapitalisme met veel onderdrukking gepaard gaan. Het was dus niet onredelijk om er maar alvast mee te beginnen.

Vooruit: er is wel van alles mis met die redenering, maar ze is zeker niet uitgestorven. We gebruiken nog elke dag volop argumenten van deze vorm. Hoog tijd voor een nadere beschouwing dus.

Het probleem met het argument van Lenin is dat er een volledig verschillend wereldbeeld schuilt achter de twee verschillende poten waar het op rust. De theorie van Marx, waar Lenin zich op baseerde is deterministisch van karakter. In een deterministisch wereldbeeld is de toekomst volledig voorspelbaar, zolang je maar weet hoe die er nu uit ziet en wat de mechanismen zijn waarlangs deze zich ontwikkeld. Volgens Marx kon het niet anders gaan dan dat het kapitalisme zichzelf ten gronde zou richten, dat zat in het systeem ingebakken. In een deterministisch wereldbeeld spelen menselijke acties een minimale rol. Ook die zijn ingegeven door de grotere krachten in het universum en dus geen ‘vrije’ keuzes van een individu of van een groep. Dat Lenin een determinist was is overigens niet vreemd: in die tijd was bijna iedereen een determinist.

De tweede poot van het argument rust juist op een wereldbeeld waar menselijke acties er alles toe doen. Laten we dit het constructivistische wereldbeeld noemen. Volgens constructivisten is de toekomst is het gevolg van menselijke keuzes. De Bolsjewieken waren in zoverre constructivisten dat ze geloofden dat door hun acties de revolutie versneld zou kunnen worden. Daarmee haalden ze natuurlijk wel de deterministische poot onderuit. Het is kiezen of delen: menselijk handelen doet er toe of het doet er juist niet toe. Als menselijk handelen de revolutie kan versnellen, is de revolutie dus ook niet onvermijdelijk. Er zijn verschillende manieren om het argument van Lenin te redden, maar in de kern is het kreupel.

En het is een type argument dat nog elke dag gebruikt wordt. Mogelijk ook door jou. Veel mensen gebruiken het bijvoorbeeld in verband met technologie. In de jaren 70 van de twintigste eeuw bracht Jacques Ellul de visie naar voren dat technologie deterministisch is. Technologie zou volgens Ellul zijn eigen ontwikkelingspad uitstippelen en zich niet door mensen laten sturen. Volgens Ellul was het de technologie die onze denkbeelden bepaalde en de economische krachten om zich heen vormde, niet andersom. Dit zogenaamde technologisch determinisme is niet meer in de mode, maar in het alledaagse leven is het niet zo’n gekke visie. Wij, gewone consumenten uit Nederland, hebben immers niet veel invloed op alle nieuwe gadgets die uit Silicon Valley komen stromen. Ten opzichte van de technologische ontwikkelingen lijken we machteloos te staan. Mijn moeder liet zich vaak ontvallen dat ‘de vooruitgang’ nu eenmaal niet te stoppen was.

En omdat de ontwikkelingen niet te stoppen zijn ondernemen we actie. Een collega van me is druk bezig te verkennen hoe iPads in het onderwijs in te passen zijn. Niet omdat hij daarin gelooft. Hij vindt de inpassing van die apparaten vaak eerder een verarming van het onderwijs dan een verrijking. Maar zijn school is voorhoedeschool. iPads ‘zijn de toekomst’ – als ze daar niet in meegaan haalt de tijd ze in en doen ze hun leerlingen tekort. Een ander voorbeeld is streaming muziek. Veel mensen stappen er op over, niet omdat ze CD’s slecht vinden, maar omdat het de toekomst is. Oven een paar jaar zijn CD’s toch niet meer te krijgen; en trouwens, de jeugd luistert alles al online. De crux is natuurlijk dat we met deze redenering de toekomst die we alleen maar denken te voorspellen ook helpen te veroorzaken. Ongeveer zoals Lenin de revolutie die hij voorspelde zelf in gang zette. Het is wat door psychologen een selffulfilling prophecy genoemd wordt.

Trends, technologisch of niet, zijn namelijk niet autonoom. Trends sturen zichzelf niet, ze worden door ons gestuurd. Trends zijn het gevolg van de keuzes die we collectief maken. Trends geven een indicatie van gemiddelde veranderingen in menselijk gedrag weer, meer niet. Het is pas als wij ze als onvermijdelijke ontwikkelingen gaan zien dat ze dat ook worden. iPads zijn alleen maar de toekomst omdat wij ze in ons onderwijs in proberen te passen. CD’s zijn niet meer te koop omdat we gaan streamen. Lenin startte de revolutie misschien omdat hij er toch aan zat te komen, maar kwam er toch vooral omdat Lenin hem startte. We zijn, kortom, vaak precies zo afhankelijk van ontwikkelingen en trends als dat we zelf willen.

Of het nu een manke rechtvaardiging is of niet, ook vandaag de dag doen we nog erg veel dingen “in opdracht van de tijd”. Daarmee maken we onszelf afhankelijk van onze eigen voorspellingen (of waanbeelden) over de toekomst. Als we een rechtvaardiging zoeken om aan iets nieuws te beginnen is de vraag dus niet of ‘het er aan zit te komen’. De vraag is of we het willen. Als dat zo is moeten we zeker mee in de ontwikkeling en als dat niet zo is zeker niet. Niemand kan het tij in zijn eentje keren, maar samen kunnen we dat wel en hoe minder serieus we voorspellingen over de toekomst nemen hoe sterker we staan.

En ja, Lenin wilde revolutie. Hij dacht niet alleen dat de revolutie onvermijdelijk was, hij dacht ook dat er een heilstaat op zou volgen. Wat dat betreft haalde de tijd hem in.

Meer lezen?

Dit is mijn eerste blogje over het kennen van de toekomst. Ik wel schreef al eerder over determinisme in EPR. In waarheidsinjecties schreef ik al over, en brak een lans voor idealisme. In waardendragers over menselijke gevoeligheid voor autoriteiten.

11 reacties Een reactie plaatsen