Valorisatie

Nog zo’n begrip waar ik een dubbel gevoel bij heb: valorisatie. De vereniging van samenwerkende Nederlandse universiteiten (VSNU) beschrijft valorisatie als het ‘benutten van kennis’ door samen te werken met anderen, mensen iets te leren of – niet onbelangrijk -, door er geld mee te verdienen. Het kan immers zomaar zijn dat je als onderzoeker nieuwe technologie mogelijk maak waar de BV Nederland wat aan heeft: CD’s, of oplaadbare batterijen ofzo. En dan zou het mooi zijn als je daarmee de economie ook een steuntje in de rug wil geven.

Je merkt het al. Ik loop niet zo warm voor dat economische argument. Als toepassingsgerichte onderzoeker vind ik het belangrijk dat mensen iets kunnen met de uitkomsten van mijn onderzoek, maar of dat nou persé ook geld moet opleveren?

Veel wetenschappers delen dit sentiment. Daarom is er ook veel kritiek op ons valorisatiebeleid. De focus op toepassing van kennis zou goede kennisontwikkeling in de weg staan en daardoor op de langere termijn nadelig uitpakken. De focus op de economie zou de onafhankelijkheid van het onderzoek in gevaar brengen. En de rol van de onderzoeker zou helemaal niet moeten zijn om geld te helpen verdienen, daar is het bedrijfsleven immers veel beter in.

Erg sterk vind ik die argumenten niet. Mijn bezwaar is dat ze niet gebaseerd zijn op een doordacht model van hoe innovatie in zijn werk gaat en hoe beleid daar aan bij kan dragen. Het grootste probleem is dat deze argumenten uitgaan van een strikte scheiding tussen kennisontwikkeling en gebruik. Of tenminste van de wenselijkheid daarvan. Die scheiding der machten lijkt mooi, maar er is wel wat tegen in te brengen. Het is een beetje alsof een autofabrikant zijn auto’s niet aan wil passen aan de slechte wegen in sommige landen omdat wegenbouw nu eenmaal aan de overheid is, niet aan autofabrikanten. Natuurlijk kan je je strikt aan de spreekwoordelijke schoenmakersleest houden, maar of het echt voor iedereen het beste is?

Dus, hoe dan wel? Laten we ons eens proberen te verplaatsen in de overheid. Als je als overheid wil dat kennis (goed) gebruikt wordt, hoe stimuleer je dat dan?

Één vraag die je dan moet beantwoorden is hoe fundamentele inzichten zich vertalen in praktische toepassingen. Dat is geen makkelijke vraag. Een plaatje dat ik in dat opzicht verhelderend vind is de onderstaande reis van de kennis. Het gaat voor één toepassing, de grafische user interface, na wie er allemaal nieuwe dingen moesten leren voor dat deze breed toepasbaar was.

Reis van de kennisVoor diegenen die de geschiedenis niet kennen: vroeger bedienden we computers door commando’s in te typen. Op een dag werd de grafische user interface ontwikkeld, waardoor we de computer met een aanwijsapparaat, iconen en menu’s konden gaan bedienen. Dit gebeurde bij Xerox, een bedrijf dat handelde in kopieermachines. Het werd populair gemaakt door Apple en daarna door Microsoft tot de wereldstandaard verheven.

In het diagram staat uiteengezet ‘wie’ er ‘wat voor soort dingen’ moest leren voordat die wereldstandaard werkelijkheid kon worden. Beginnend natuurlijk met de fundamentele ideeën die tot de grafische user interface geleid hebben en eindigend met professionals die die nieuwe principes voor het eerst in hun eigen praktijk gingen toepassen.

Een super simplistisch diagram. Het suggereert één-richtingsverkeer (van fundamenteel naar toegepast) terwijl toepassingen ook vaak tot meer fundamentele vragen leiden. Het laat alle ontwikkelingen die er niet toe deden en alle kennis die onderweg geleend werd van andere ontwikkelingen buiten beschouwing. En het gaat over een set inzichten die altijd al met het oog op toepassingen ontwikkeld is en dus niet over ‘echt’ fundamenteel onderzoek.

Tegelijkertijd is het genuanceerder dan de vaak gebruikte tweedeling tussen kennisontwikkeling en -toepassing en geeft het plaatje een mooi overzicht dat je kan helpen om een basisstrategie – voor een overheid die graag toepassingen wil zien – uit te denken. Zou je al je geld zetten op de eerste kolom en alleen fundamenteel onderzoek stimuleren of zou je ook verderop in de pijplijn ondersteuning willen geven? Zou je een voorkeur hebben voor wetenschappers die aantoonbaar zicht hebben op wat er later met hun werk kan en moet gebeuren wil iets helemaal rechts uitkomen of behandel je de kolommen in dit diagram als silo’s die zich niets van elkaar aan moeten trekken? Welke kolommen laat je aan de markt en welke kolommen krijgen subsidie – en hoeveel dan?

De Nederlandse overheid kiest er voor het meeste publieke geld te investeren in de meest linkse kolom: ontwikkelen van nieuwe kennis. Dit doen ze via de financiering van universitair onderzoek. Een klein deel gaat ook in de tweede kolom: het ontwikkelen van nieuwe toepassingen. Dit gaat via de financiering van onderzoek in het HBO. De derde en vierde kolom worden voornamelijk aan het bedrijfsleven overgelaten. Steeds wil de overheid dat je laat zien dat je zicht hebt op de rest van de keten. Van universitaire onderzoekers wordt gevraagd om inzichtelijk te maken wat in de tweede kolom mogelijk zou zijn, van onderzoekers in het HBO wordt gevraagd bedrijven uit de derde kolom te betrekken. Zodat de ‘doorstroming’ over verschillende kolommen zo soepel mogelijk verloopt.

Of dit het best denkbare beleid is weet ik niet, maar als je het mij vraagt is de vraag eerder waarom de middelen niet gelijkelijk verdeeld worden over alle kolommen en samenwerking tussen alle kolommen wordt geëist, dan andersom. Natuurlijk: fundamenteler onderzoek (naar nieuwe kennis) zou ook onafhankelijker moeten zijn, dan onderzoek naar nieuwe toepassingen, maar een harde scheiding tussen kolom 1 en 2 lijkt mij niet erg productief. Natuurlijk: nieuwe kennis heeft een langere levensduur dan nieuwe toepassingen, maar dat maakt investeren in toepassingen nog geen slechte strategie. Natuurlijk: voor elk van deze kolommen kun je je afvragen hoeveel de overheid en hoeveel het bedrijfsleven zou moeten investeren, maar het voorbeeld van Xerox laat meteen zien dat bedrijven in alle kolommen een rol kunnen spelen. Waarom de overheid dan niet?

Ik heb de indruk dat veel kritiek op ‘het valorisatiebeleid’ eerder ingegeven is door persoonlijke frustraties van wetenschappers, dan door een doorwrochte, wetenschappelijke, analyse van effectief valorisatiebeleid. Dat is begrijpelijk: het denken start in de eigen ervaring; maar erg onderscheidend ten aanzien van andere beroepsgroepen die minder wetenschappelijk onderlegd zijn is dan weer niet.

Het is goed samen na te denken óf valorisatie belangrijk is óf innovaties en geld verdienen doelen moeten zijn van de wetenschap en hóe dit het beste te stimuleren is, maar laten we dat doen aan de hand van de best beschikbare wetenschappelijke kennis over dit onderwerp en laten we er niet van uitgaan dat we valorisatie expert zijn, alleen maar omdat we al wetenschapper zijn.

Meer lezen?

Dit blogje is een vervolg op mijn blogje over de Nobelprijs, waar de relatie tussen fundamenteel onderzoek die in die prijs gelegd wordt bekritiseerde. De -breed gedragen- misverstanden over die relatie stelde ik eerder al eens aan de kaak in mijn blogje stokoude kennis. Het idee dat sommige kennis duurzamer is dan andere besprak ik al in halfwaardetijd en strategieën van wetenschappers om daar mee om te gaan in tijdmeters.

Voor de hier gebruikte definitie van valorisatie raadpleegde ik het VSNU rapport over dit onderwerp.

 

Nobel

De week waarin de Nobelprijzen worden uitgereikt vind ik altijd spannend. Zelf ben ik natuurlijk geen kanshebber en vaak ken ik de prijswinnaars ook helemaal niet. Maar de Nobelprijs is een bijzondere prijs. Zeker de prijzen voor natuur en scheikunde – en vaak ook die voor economie –  zetten onderzoek in het zonnetje dat toen het werd uitgevoerd heel fundamenteel en soms onzinnig leek, maar waarvan door de jaren heen gebleken is dat er veel nuttige toepassingen uit zijn voortgevloeid. Dat is vrij uitzonderlijk: veel fundamenteel onderzoek is helemaal niet zo direct tot toepassingen te herleiden; en het levert altijd een mooi verhaal op: hoe een of andere bizarre zoektocht van een of andere wetenschapper ons uiteindelijk allemaal raakt.

Dit jaar ging de Nobelprijs voor de chemie bijvoorbeeld naar John Goodenough, Stanley Whittingham en Akiray Yoshina voor fundamenteel onderzoek dat de basis legde voor de oplaadbare batterijen in onze telefoons en andere draagbare apparaten – en natuurlijk elektrische auto’s. Dit werk stamt uit de jaren 70 van de vorige eeuw. Geen van deze moderne toepassingen was in die tijd in het zicht. Het was toen al prachtig werk, en het bleek een noodzakelijke schakel te vormen in latere technische ontwikkelingen die het gezicht van de huidige tijd bepalen. .

Of niet? Hoewel veel mensen de Nobelprijs op deze manier aangrijpen om het belang van fundamenteel onderzoek voor de maatschappij nog eens te onderstrepen, denk ik dat ze het Nobel-verhaaltje te serieus nemen. Natuurlijk ben ik een voorstander om stevig te investeren in fundamenteel onderzoek, maar dat er soms jaren later nuttige toepassingen uit voortvloeien vind ik een slecht, onwetenschappelijk, argument voor dat type onderzoek.

De drogredenering die onder de letterlijke interpretatie van het Nobelprijsverhaaltje zit doe ik uit de doeken in mijn blogje stokoude kennis . Zoals ik daar al stel: je kunt voor elke bestaande toepassing wel fundamentele kennis aanwijzen die er aan ten grondslag ligt, maar dat zegt niet zoveel. In verreweg de meeste gevallen was die toepassing er ook wel gekomen zonder dat specifieke stukje onderzoek. Soms omdat de toepassing ronduit voor de kennis uitliep: de ontwikkeling van de thermodynamica is een gevolg van de ontwikkeling van de stoommachine en niet andersom, maar meestal omdat de anders gewoon iets later door andere wetenschappers ontwikkeld zou zijn. Niemand is onmisbaar voor de tand des tijds, die kan echt wel wachten op de tweede of derde uitvinder.

Je kunt dus wel fundamenten aanwijzen bij een bepaalde toepassing, maar daarmee heb je geen bewijslast aangeleverd voor de stelling dat dat specifieke onderzoek een noodzakelijke of zelfs maar een belangrijke schakel was in de ontwikkeling van die toepassing. Het beste wat je achteraf kan zeggen is dat het best van pas kwam. Het belang van fundamenteel onderzoek in het algemeen kun je er al helemaal niet uit afleiden, want dan moet je ook al dat fundamentele onderzoek meerekenen waar nooit iets nuttigs uit is voortgevloeid.

Daar komt nog bij dat de Nobelprijs met zevenmijlslaarzen door de geschiedenis fietst. Het is niet het oorspronkelijke, nogal explosieve, 2 V batterijtje van Wittingham dat in onze telefoons zit. Voor dat die gemaakt kon worden waren nog honderden of misschien wel duizenden nieuwe ontdekkingen en ontwikkelingen nodig. Er ging niet voor niets 50 jaar overheen. Hoe verhoudt de mankracht die in het fundamentele onderzoek zit zich eigenlijk tot de mankracht die nodig was om die batterijen echt werkend te krijgen?

Je kunt allerlei redenen hebben om fundamenteel onderzoek in het zonnetje te zetten. Dat er soms mooie toepassingen uit voort komen spreekt tot de verbeelding, maar het is misleidend. De rol die het betreffende onderzoek écht heeft gespeeld voor die toepassingen is niet precies te achterhalen en vermoedelijk relatief klein.

Natuurlijk kunnen toepassingen en fundamentele kennis elkaar informeren en het is een Nobel-feestje waard om die bevruchting te vieren, maar dat feestje deugt op haar beurt niet als rechtvaardiging voor het bestaan van fundamenteel onderzoek. Daarom denk ik dat het contraproductief is om (oud) fundamenteel onderzoek te rechtvaardigen door te wijzen op moderne toepassingen. Als het argument niet klopt prikt iemand er op een dag doorheen.

Ik denk dat het beter is om het nut van fundamenteel onderzoek te verdedigen aan de hand van de waarde die het in het hier en nu voor ons heeft. Er zijn verschillende manieren waarop je dit kan doen, maar ik zie het nut van fundamenteel onderzoek vooral vanuit zijn invloed op ander onderzoek. In fundamenteel onderzoek verkennen we wegen die we niet zouden verkennen als we ons druk maakten over toepassingen. Fundamenteel onderzoek vergroot zo onze horizon; het maakt ons slimmer. Als fundamenteel onderzoek andere wetenschappers, fundamenteel, of toegepast op een nieuwe manier aan het denken zet is het goed onderzoek.

En of het ooit de lange weg naar een praktische toepassing vind? Ach.

Meer lezen?
In stokoude kennis bespreek ik uitgebreider waarom de toepassingen van nu niet herleidbaar zijn tot de oude kennis van toen. Ik ben van plan een blogje te schrijven over valorisatie waar ik nog eens in ga op kennis die wel tot toepassingen moet leiden.

Voor de informatie over de Nobelprijzen van dit jaar heb ik vooral gebruik gemaakt van het artikel daarover in het NRC, ik kende het onderzoek zelf niet voor de prijs uitgereikt werd. Ik heb me in deze post geconcentreerd op de verbinding die in de Nobelprijzen wordt gelegd tussen onderzoek en toepassing, maar ook andere aspecten van de Nobelprijs, zoals de focus op een individueel genie zijn kritiek waar. In Chemistry World verscheen daarover dit artikel.

Evidence-based Practice

Zou het niet mooi zijn als professionals hun handelen wat meer zouden baseren op wetenschappelijk bewijs? Zodat leerlingen onderwijs krijgen waarvan we weten dat het werkt; zorgverleners die dingen doen die objectief het beste zijn voor hun patiënten; en zodat – waarom ook niet? – accountants de boeken op de best denkbare manier controleren? Het is eigenlijk moeilijk om daar tegen te zijn, toch? Nou ja, je raad het al…. Ik vind op zijn minst dat een paar kanttekeningen op hun plaats zijn.

Een van de lastige dingen van het bespreken van evidence based practice – het gebruiken van wetenschappelijk bewijs in de praktijk dus – is dat er verschillend varianten van het idee bestaan. De strikte variant legt de nadruk op de wetenschappelijkheid van het bewijs dat gebruikt wordt. De zachte variant legt vooral de nadruk op het gebruik van bewijs in de praktijk.

In de strikte variant moeten professionals dus op de hoogte zijn van de uitkomsten van wetenschappelijk onderzoek en hun praktijken daarop baseren. De strikte variant stelt eigenlijk dat het enige bewijs dat professionals mogen gebruiken, wetenschappelijk van aard zou moeten zijn. In de zachte variant moet een professional óók zoveel mogelijk bewijs gebruiken, maar dat hoeft niet persé wetenschappelijk te zijn. Een professional mag in de zachte variant ook zelf bewijs verzamelen door collega’s of haar doelgroep te ondervragen of door dingen aan hen voor te leggen. Met die zachte variant is ook van alles mis, maar dat bespreek ik later nog eens. In dit blogje wil ik vooral de strikte variant eens onder de loep nemen.

Laat me duidelijk zijn: ik ben een voorstander van evidence based medicin. Ik vind het belangrijk dat medische behandelingen die ik onderga eerst wetenschappelijk bewezen zijn. Behandelingen die die toets der kritiek niet kunnen weerstaan zoals gebedsgenezing, acupunctuur en homeopathie, kunnen bij mij rekenen op veel scepsis. Maar de vraag is volgens mij of dit idee van evidence based medicin te verplaatsen is naar onderwijs, (zachte) zorg en accounting; of dat die vakgebieden juist om een wezenlijk andere benadering vragen?

Mijn antwoord laat zich raden. Ik denk dat zorg, onderwijs en accounting anders zijn. In mijn ogen is evidence-based-practice namelijk gebaseerd op een one-size-fits all gedachte terwijl deze vakgebieden -goede accountancy misschien uitgezonderd – eerder vragen om professioneel maatwerk. Maatwerk is nooit gebaseerd op een enkele bron van bewijs. Maatwerk stelt de situatie of de omgeving centraal waarin bepaalde ingrepen effectief kunnen zijn, terwijl veel wetenschappelijk werk die afhankelijkheid van context juist buiten beschouwing laat.

Dat zit hem in wat telt als wetenschappelijk bewijs. De heilige graal van aanhangers van evidence based practice aanhangers is vaak de randomised controlled trial (RCT). Het idee van een RCT is dat we onderzoeken of een benadering werkt ongeacht van wie het ondergaat of van wie het uitvoert. Één groep patiënten krijgt een medicijn, een andere groep krijgt een nepmedicijn. Niemand weet wie in welke groep zit, de patiënten niet, de doctoren niet, de onderzoekers niet. Hierdoor kunnen we vaststellen of een medicijn werkzaam is los van de context: wie de patiënt is, wie de behandelaar is, hoe het contact tussen die twee verloopt. De bedoeling is immers om de effectiviteit van een bepaalde benadering contextvrij vast te stellen; dus zonder rekening te houden met de capaciteiten van de betrokken professionals en de individuele behoeften van patiënten of gebruikers. En dat is meteen de grote zwakte.

Zeker: als een medicijn door een RCT komt weten we zeker dat het werkt voor de meeste behandelaars en de meeste mensen. Dat is waardevolle kennis voor behandelaars. En ik zou zeker niet willen dat ze dingen voorschreven waarvan de werkzaamheid niet is aangetoond.

Maar, nu die leraar. Die bijvoorbeeld rare grappen maakt om de aandacht vast te houden. Mag hij dit wel doen als niet wetenschappelijk is aangetoond dat het werkt?

We willen zeker graag dat docenten zich bedienen van methoden waarvan we weten dat ze werken zoals het gebruik van passende werkvormen, waaronder directe instructie. Daar heeft hij een opleiding voor genoten. Maar de grappen die hij maakt horen daar niet bij. Het interesseert ons niet of die voor alle docenten en alle leerlingen werken.

Sterker nog dat soort generalisaties zit misschien alleen maar in de weg. De details van zijn werk: hoe hij een relatie opbouwt hoe hij verschillende leerlingen verschillend aanpakt, de duizenden andere beslissingen die een docent elke dag weer maakt? Die zijn aan het professionele oordeel van de docent. Dat finetunen moet hij zelf doen, dat vraagt om fingerspitsen gefühl. Je wil dat zijn aandacht in de klas is bij hoe zijn leerlingen reageren, niet bij wat de wetenschap er van zal vinden. Dit zijn contextspecifieke beslissingen, daarover kunnen RCT’s geen uitspraken doen.

Wat we van een docent willen is dat hij goed waarneemt, ervaringskennis gebruikt, fouten maakt en daarvan leert binnen een grofmazig wetenschappelijk kader. Nu is dat in de medicijnen niet anders. Artsen, zeker huisartsen voegen dat stukje professionaliteit aan de wetenschap toe dat het mogelijk maakt mensen goede zorg te leveren, zonder ze te reduceren tot een statistiek. De evidence based practice discussie is dus, zoals zo vaak geen zwart-wit discussie. Het is vooral een gevecht om ruimte. Hoe strak moeten de wetenschappelijke kaders zijn en met hoeveel autonomie gedijen professionals.

Interessant genoeg, wordt deze discussie niet op basis van wetenschappelijk bewijs gevoerd. De wetenschappers trekken typisch aan de evidence based kant en onderbouwen hun standpunten met anekdotes over professionals die helemaal niet blijken te handelen naar hun mooie wetenschappelijke inzichten. De professionals trekken aan de autonomie kant en komen met allerlei uitzonderingen waar de wetenschap niets over te zeggen heeft, of zelfs het verkeerde zei. Volgens mijn komen we zo – al touwtrekkend dus – niet verder.

Je zou een meta-studie willen doen, waar afhankelijk van het vakgebied vergeleken wordt of het vergroten of juist verkleinen van de professionele ruimte beter werkt. Dan kunnen we het debat op een wetenschappelijke in plaats van een anekdotische manier beslechten. Mits we het eerst wel eens eens kunnen worden over de 1000000 dollar vraag: wat bedoelen we eigenlijk met “beter”?

Meer lezen?

Ik schreef al eens een kritisch stuk over de praktijk van evidence based medicin getiteld ongezond. Die misstanden doen natuurlijk niets af aan de principes. In verkoudheid bespreek ik dat er verschillende soorten bewijs en manieren om die te wegen zijn. In A Priori ga ik in op situaties waar je juist liever niet het beste bewijs inzet.

Significantie

Ik zou er een serie van kunnen maken. Het plot gaat ongeveer zo. Onderzoeker (m/v) wil grip krijgen op een probleem. De onderzoeker ontwikkelt een meetinstrument. Met succes: de ontwikkelde maat blijkt een prima middel om een beetje meer grip te krijgen op het probleem.

Maar dan gaat het mis omdat het tè goed gaat. Veel andere onderzoekers willen ook graag meer grip krijgen op het probleem. Iederen slaat aan het meten. Het instrument en de nieuwe maat worden populair en krijgen veel status. Sluipenderwijs verandert het instrument van gedaante. Ooit was het maar een middel, maar nu wordt het een doel op zich – nee hèt doel.

Het is een verhaal over hoogmoed en val. Of eigenlijk het verhaal van doctor Frankenstein, die macht over leven en dood wou en zodoende iets schiep dat hij niet meer in de hand had. Want een meetinstrument dat een doel op zich is geworden doet gewoonlijk meer kwaad dan goed. Als een uitkomst van een meetinstrument een doel wordt, gaan we de boel zo inrichten dat we hoog scoren op die uitkomst; vaak ten koste van dingen die nuchter beschouwd belangrijker zijn. We bedenken een lat om de wereld de maat te nemen maar de lat neemt ons de maat.

Eerder schreef ik zo’n verhaal over IQ, maar vandaag is er aanleiding statistische significantie: ofwel de p-waarde onder de loep te nemen. Die p-waarde wordt veel gebruikt, zo veel dat zo’n 800 wetenschappers een opiniestuk in het wetenschappelijke tijdschrift Nature ondertekenden dat pleitte voor het afschaffen ervan – of tenminste pleitten ze voor een andere omgang met de p-waarde.

Wat gaat hier mis? Die p-waarde is echt heel erg belangrijk. Het gaat feitelijk om een groep wetenschappers die er voor pleiten om het meest gebruikte wetenschappelijke gereedschap af te schaffen. Je kan ook lezen: “tuindersvereniging protesteert tegen het gebruik van heggescharen” of “ANWB pleit voor het afschaffen van wielen”. Niet echt het nieuws dat je verwacht.

De p-waarde meet de kans dat een wetenschappelijke bevinding toeval kan zijn. De kans op kans. Als je de lengte van de jongens in de klas meet en de lengte van de meisjes en je vindt dat de jongens gemiddeld 1,3 cm langer zijn, dan wil je vaak ook weten of dit in alle klassen zo is óf alleen in jouw klas. Er is best een kans dat er in jouw klas toevallig een paar extra lange jongens zaten terwijl dat in andere klassen helemaal niet zo is en jongens dus ook niet gemiddeld langer zijn. Als je die mogelijkheid niet kan uitsluiten ga je niet zomaar roepen dat jongens gemiddeld langer zijn dan meisjes.

Daarvoor is dus statistiek uitgevonden. Of een uitkomst van een experiment toeval is weet je natuurlijk nooit helemaal zeker, maar op basis van het soort meting, hoeveel metingen je gedaan hebt en de spreiding kan je een aardige schatting maken over of de kans groot of klein is dat je elders hetzelfde zal vinden: de p-waarde.

Die p-waarde is populair. Of eigenlijk: zij is zò populair dat ze een norm is geworden. Het is knap lastig om nog resultaten te publiceren als de kans dat het toeval is wat je gevonden hebt niet kleiner is dan 5%, of liever nog 1%.  Zeker als je een sociaal wetenschapper bent.

Is dat slecht? Nou misschien. Het bespaart ons zeker van een hoop onzinbevindingen die zonder de p-waarde misschien enorm serieus genomen zouden worden.

Maar, de ellende met de p-waarde als norm is natuurlijk dat wetenschappers – mensen – proberen die waarde op te krikken. Ze nemen meer proefpersonen, ze sluiten erg afwijkende proefpersonen uit, een enkeling verzint misschien wat data. Ik zou hier een hele lijst misstanden kunnen noemen, maar het punt is steeds: de p-waarde is het doel geworden in plaats van de waarheidsvinding. Einde wetenschap.

En dat is wat die onderzoekers van dat manifest dwars zit. Misbruik, verkeerd gebruik en onbegrip waardoor waardevolle bevindingen verloren gaan en waardeloze bevindingen enorm belangrijk gevonden worden. Daarom stellen ze voor om de p-waarde-norm los te laten en de p-waarde weer een bescheidener plek te geven naast datgene waar het écht om draait: het effect en de grootte daarvan.

Mijn steun hebben ze: dat moge duidelijk zijn, maar of het kansrijk is durf ik te betwijfelen. Ik begin te ontdekken dat normen makkelijker ontstaan dan dat ze verdwijnen. Natuurlijk is je er tegen uitspreken het begin: maar dan begint de lange, lange weg om de praktijk te veranderen. Of deze wetenschappers daar zo goed in zijn als in zich uitspreken? We gaan het zien.

Meer lezen?

Ik schreef al eens hoe enorm overschat de IQ test is en wat daar de gevolgen van zijn. Meer in het algemeen stelde ik vragen bij een doorgedreven vorm van empirisme in waarheidsinjecties. Het vergelijken van groepen (mannen en vrouwen bijvoorbeeld) stelde ik aan de kaak in groepsidentificaties en in eerlijk vergelijken.

Sanne Blauw besprak op de Correspondent op heldere manier wat de p-waarde is en waarom wetenschappers hem willen afschaffen. Het oorspronkelijke Nature artikel vind je hier.

Ziekte

Er ging een relletje over. Een of andere feministe – ik weet haar naam niet meer – wilde niet spreken in een debatcentrum omdat daar eerder een rechtse professor – ik zal hem ook naamloos laten – had opgetreden. Inderdaad: alsof zijn verwerpelijke gedachten daar nog rond zouden zweven en haar gezonde geest mogelijk kon besmetten. Kennis als een ziekte. Het debatcentrum had nagelaten om de ruimte op een juiste manier te ontsmetten.

Ach, zo zal ze vast niet écht geredeneerd hebben, maar de gedachte dat ideeën gevaarlijk kunnen zijn, onze weerloze breinen onherstelbaar kunnen beschadigen; en dat mensen of instituten die zich met de verkeerde ideeën inlaten gezuiverd moeten worden, doet wel weer opgang.

Misschien komt het door de opkomst van “alternatief rechts”, dat zichzelf op vrijheid van meningsuiting beroept en anderen juist de mond probeert te snoeren door nota bene de “vrijdenkers” zoals wetenschappers en kunstenaars verdacht te maken. Knuffelwoord: indoctrinatie. Misschien denken we in het moderne leven zo vaak over gezondheid, virussen, bacteriën, besmetting, hygiëne en medicatie zo aanwezig is in ons denken, dat we er vanzelf ook aan denken als het over kennis gaat.

Wat moeten we met het idee van kennis als ziekte?

Een vreemd idee is het niet. Eigenlijk bieden mijn blogjes over mementheorie al een aardig inkijkje in dit denken: veel van de eigenschappen van ziektes zij ook toepasbaar op kennis. Ideeën kunnen besmettelijk zijn, zich verspreiden, kunnen andere ideeën onder druk zetten. Het opdoen van nieuwe ideeën is niet altijd positief: mensen worden soms zomaar besmet met radicaal gedachtegoed en gaan dan – ik roep maar wat- aanslagen plegen.

Maar in twee opzichten denk ik toch dat mensen die kennis als een ziekte zien, of het zo althans behandelen, er naast zitten.

Ten eerste: breinen zijn niet bepaald weerloos. We staan voortdurend bloot aan nieuwe gedachten en ideeën. Maar vijandige ideeën worden door het brein toch echt geweerd. Als een idee niet in overeenstemming is met bestaande ideeën en onze achtergrondkennis, dan hebben ze – zo laat veel sociaal psychologisch onderzoek zien – weinig vat op ons. Als we ideeën als ziektekiemen zien, moeten we onze basiskennis als ons afweersysteem zien.

Ten tweede: het helpt niet om je af te schermen voor zieke ideeën van anderen. Intellectueel zuivere mensen hebben eerder een slechtere dan een betere afweer. De metafoor doet hier prima zijn werk. Als we niet regelmatig bloot staan aan ziektekiemen, dan wordt onze afweer slechter. Dat geld denk ik ook voor ideebesmetting. Mensen die intellectueel zuiver proberen te blijven, zouden wel eens makkelijker met een nieuw gedachtegoed ‘geïnfecteerd’ kunnen worden dan mensen de gewend zijn om alle meningen tot zich te nemen en te wegen. Zulke intelectuele sponzen hebben de tegenargumenten waarmee door andermans drogredenen geprikt kan worden immers paraat.

Je kan kennis best zien als ziekte en op een epidemiologische wijze kijken naar het publieke debat. Maar pas op voor figuren, van welke politieke kleur dan ook, die willen ‘zuiveren’. Ze hebben het niet begrepen. In de meeste gevallen is het niet de blootstelling aan het virus dat ons ziek maakt, maar eerder een gebrek aan weerstand.

Meer lezen?

Ik schreef over mementheorie in memen en cultuurdragers. In betekenisdrift leg ik uit waarom taal een minder krachtige veranderaar is van het denken dan je zou denken.

Ik besprak al een hele reeks andere metaforen zoals kennis als moeras, kennis als boom, en kennis als container.

Rorschach

Er zijn vast maar weinig lezers die bij de titel van dit blogje aan een plaatsje aan de Bodensee denken. Bijna iedereen denkt meteen aan vlekken. Sterker nog ik denk dat een behoorlijk percentage Nederlanders een echte Rorschachvlek van een neppe kan onderscheiden. Zo beroemd is die man.

Wacht ik laat er even een zien….

download

Rorschachvlekken stonden voor mij altijd symbool voor de vaagheid van de psychiatrie. Zeg maar de psychiater als charlatan die je vraagt om vrij te associëren bij een totaal onduidelijk plaatje en die daar dan het zijne van vind – vast iets met onderdrukte seksuele impulsen. Misschien komt het door de film: daar is het zonder uitzondering een of andere pseudoloog die met die vlekken aan de slag gaat. Ik had er dus ook nooit zoveel mee. Tot dat….

Nou ja. Mijn fascinatie voor Rorschach’s vlekken begon pas toen ik leerde dat die vlekken onderdeel uitmaken van een gestandaardiseerde test. Dat hàd me moeten opvallen – net als jullie herkende ik Rorschach vlekken uit duizenden, maar het signaal dat dat door standardisatie zou kunnen komen pikte ik gewoonweg niet op. Ik vond het ook een raar gegeven: een gestandaardiseerde vlekkentest; gewoon omdat het niet in het plaatje paste.

Maar het bleek te kloppen. Wat Hermann Rorschach onderscheidde van zijn tijdgenoten was juist dat hij een veel wetenschappelijkere diagnosepraktijk voorstond, dan in het begin van de 20e eeuw gebruikelijk was. Hij tekende ruim 100 inktvlekken en test die op zo’n 400 proefpersonen waarvan 300 patiënten waren. De 10 vlekken die het beste werkten voor een diagnose koos hij uit – en hij scheef een uitgebreide handleiding over hoe de antwoorden van patiënten geïnterpreteerd moesten worden. Met onderdrukte sex had het allemaal niets van doen.

Omdat de Rorschach test een gestandaardiseerde test is kan bovendien de collectieve ervaring van alle therapeuten die de test gebruiken, gebruikt worden om de interpretatie beter te maken. In de jaren zestig gebeurde dit ook en kwam er een nieuw, betrouwbaarder scoresysteem. De vlekken zelf veranderden niet.

Hoe komt het dan toch dat Rorschach zo’n slecht imago heeft? Vermoedelijk komt door het soort test: het is een projectietest. Je wordt gevraagd jouw ideeën op de plaatjes te ‘projecten’ in de hoop dat dat iets zegt over je persoonlijkheid. Je bent -zeg maar – wat je in de plaatjes ziet. Maar, om dat te kunnen doen moet je je beroepen op je fantasie. En fantasieën zijn vrij intiem. De meeste mensen delen hun fantasieën niet met iedereen – en al helemaal niet in een situatie waar ze beoordeeld worden op mentale gezondheid; nog zoiets intiems. Het is dus een test waarbij de patiënt in een kwetsbare positie wordt gedwongen. We voelend dan eerder mee met de arme patiënt dan met de dokter en zijn, zogenaamd, betrouwbare scoresysteem.

Er zijn ook goede redenen om te denken dat een dergelijke test niet kàn werken. Je verwacht dat mensen heel verschillende dingen roepen als ze gevraagd worden wat ze in die vlekken zien. Die diversiteit geeft ruis: als mensen heel verschillende antwoorden geven op dezelfde vraag is het lastig om vast te stellen hoe je zo’n antwoord moet interpreteren. De antwoorden worden zelf weer een soort Rorschach-vlek. Het is maar wat je er in ziet. Over het algemeen geld dat je met gerichte vragen een betere betrouwbaarheid kan halen dan met een vrije-associatie test.

Ondanks zijn wetenschappelijke doel en zijn update in de jaren 60 staat de Rorschach test dus nog altijd onder fikse kritiek. Er zijn onderzoeken die zeggen dat de test het niet beter doet dan een diagnose zonder test, dat de test verkeerde diagnoses stelt en dat hij voor te weinig verschillende ziektes gebruikt kan worden. Een interessante kritiek is ook dat de test tegenwoordig niet meer zou werken omdat iedereen die plaatjes nu al kent en dus niet meer onbevangen de test in kan gaan. Heb je de diagnose eindelijk gestandaardiseerd….

Hoewel wetenschappelijke studies naar het gebruik van de test niet eenduidig zijn en hoewel de test niet heel sterk uit de bus komt, laten ze wèl degelijk een positief effect zien. Het lijkt er op dat een diagnose met Rorschach test beter werkt dan een diagnose zonder hulpmiddel. Rorschach heeft, zij het heel voorzichtig, de wetenschap aan zijn kant.

Mijn inschatting is dat het te weinig is. Er zijn -of komen- betere tests, waarbij patiënten niet hun fantasieën bloot hoeven te geven. Dan verdwijnt Rorschach van het toneel en blijft alleen het charlatanimago uit de film over. Dat vind ik fijn voor de patiënten, maar jammer voor ons als maatschappij. Ik denk ook dat die test niet kàn werken, maar dat is wél een vooroordeel. Juist omdat de test zo’n rare mix vormt van mystieke en wetenschappelijke ideeën herinnert zij ons er aan dat we dat soort vooroordelen moeten toetsen – en dat we uiteindelijk de wetenschap moeten laten spreken.

Het verketteren van de Rorscharch tests, voordat het finale oordeel van de wetenschap geveld is hoort nu eenmaal niet bij de wetenschappelijke houding die Rorschach zelf voor stond. Laten we de man eren, als was het alleen omdat hij het icoon voor twijfels aan de wetenschappelijkheid van de psychiatrie ontwierp.

Meer lezen?

Ik besprak eerder de IQ test, die er ook al niet goed af kwam. Het soort trials dat heeft aangetoond dat de Rorschach test werkt zijn niet bepaald waterdicht, zoals ik in ongezond aan de orde stelde. Dat je je ideeën moet testen en waarom bespreek ik in Eksters.

Adaptief de 21e eeuw in

Kennis is weer uit. Althans in het onderwijs. Daar zijn 21st century skills in; en computational thinking. Die aandacht voor vaardigheden boven kennis is natuurlijk niet fonkelnieuw. Ik ben zo’n 25 jaar geleden tot docent opgeleid en sindsdien wordt ongeveer dezelfde mantra steeds in een nieuw, nog hipper, jasje gestoken.

Het gaat ongeveer zo. In de toekomst gaat feitenkennis minder belangrijk worden. Want leerlingen kunnen alles opzoeken op internet en bovendien veranderd de wereld steeds sneller waardoor de ideeën verouderen waar je bij staat. Wat studenten ècht nodig hebben is leervermogen. Ze moeten nieuwe kennis tot zich kunnen nemen. Ze moeten multidisciplinair kunnen samenwerken. Ze moeten zich snel aan nieuwe situaties kunnen aanpassen. Zodat ze, in de turbulente tijden die voor ons liggen, met alle winden mee kunnen waaien. Zoiets.

Ja het klopt: ik ben daar skeptisch over. Dat zit hem in twee dingen: in het geschetste wereldbeeld én in de voorgestelde oplossing.

Eerst even die steeds sneller veranderende wereld. Klopt dat? Nou nee. Zo snel gaan die veranderingen nu ook weer niet. Historici wijzen er op dat we al eeuwen het gevoel hebben dat de ontwikkelingen steeds sneller gaan, maar dat zegt misschien meer over ons dan over de daadwerkelijke ontwikkelingen in de wereld. Het revolutionaire en ontwrichtende karakter van nieuwe technologie wordt meestal nogal overdreven; zeker door de uitvinders.

En de digitale revolutie dan? Ja, natuurlijk. De smartphone is pas een dikke 10 jaar oud en allang niet meer uit de samenleving weg te denken. Maar alles wat ik daar nu mee doe: e-mail, internetten, gamen en bellen, doe ik al sinds mijn jeugd met andere technische middelen. De ‘revolutie’ is vooral dat ik het nu kan doen terwijl ik naar mijn werk fiets.

Revolutionair denken is volgens mij vooral een kwestie van aandacht. Als je je aandacht richt op wat er allemaal veranderd is, dan gaan de veranderingen inderdaad razendsnel. Let je er op wat er allemaal hetzelfde blijft dan loopt het zo’n vaart niet.

Maar, de ècht prangende kwestie is natuurlijk de voorgestelde oplossing. Is het voor het toekomstige aanpassingsvermogen van onze leerlingen goed om minder vakinhoud en meer leervaardigheden te onderwijzen? Met andere woorden: moeten we op de basisschool taal en rekenen, op de middelbare school natuurkundelessen en geschiedenislessen, of in het beroepsonderwijs kooklessen en programmeerlessen, vervangen met lessen over creativiteit, leren leren, probleemoplossen en samenwerken? Die vraag verdient een genuanceerd antwoord dat volgens mij toch begint met “nou nee” of “nog niet meteen”.

Het probleem met 21st century skills, ontwerpdenken, of andere complexe vaardigheden is dat ze niet kunnen bestaan zonder vakinhoud. Kennistransfer: het hergebruiken van kennis die je in één context geleerd in een nieuwe context, blijkt namelijk heel moeilijk te zijn. Creatieve schakers volgen bij het koken vaak simpele, vaste, recepten; terwijl sterrenkoks nog geen toren van een pion kunnen onderscheiden. Het is alsof er verschillende ruimtes zijn in het brein voor taal en rekenen, voor natuurkunde en voor frisbee – en dat de taalcreativiteit niet naar het frisbee veldje durft of andersom. Je kunt studenten creativiteitsles geven tot je een ons weegt, zonder ze materiaal te geven om creatief mee te zijn – of zonder ze onder te dompelen in een vakwereld waar ze creatief ìn kunnen leren staan, heeft dat geen enkele zin.

Gelukkig is er een middenweg. We hoeven niet persé te kiezen tussen vak- of vaardigheden les. We kunnen die twee hand in hand laten gaan. Het is goed mogelijk om vakinhoud zò te onderwijzen dat studenten die flexibeler in kunnen zetten. 21st century content dus. Die middenweg wordt onderzocht door onderwijskundigen die zich richten op adaptieve expertise.

Het idee van adaptieve expertise start met een interessante asymmetrie. Terwijl het eigenlijk altijd zo is dat mensen die creatief zijn, goed kunnen samenwerken en nieuwe problemen aan kunnen pakken óók experts zijn in hun vak – is het niet altijd zo dat experts in een vak ook die vaardigheden voor aanpassing hebben. Blijkbaar komen die vaardigheden ‘voort’ uit vakkennis, maar niet altijd. Alsof je op een gekostumeerd bal komt en sommige gasten blijken een maskertje te dragen en anderen niet. Het roept de vraag op hoe die creatieve, of adaptieve, vakmensen zich onderscheiden en of dat ook te leren is.

Volgens onderzoekers hebben adaptieve experts dezelfde vakkennis als gewone experts maar is die op een andere manier ‘gerepresenteerd’. Adaptieve experts hebben blijkbaar hun bovenkamer beter op orde. Hun kennis is beter georganiseerd en abstracter dan bij gewone experts. Hierdoor zijn ze beter in staat om in nieuwe situaties opnieuw gebruik te maken van hun vakkennis. Adaptieve experts hebben adaptatie ook al geoefend. Ze hebben vaak meer ervaring met vernieuwende opdrachten en ze hebben de kans gehad hun eigen oplossingsstrategieën te ontwikkelen.

Wat ik interessant vind aan dit lijstje is dat hier twee ‘kampen’ samenkomen die in de 21st century skills discussie lijnrecht tegenover elkaar staan. Hoe zorg je dat leerlingen een gestructureerde kennisbasis verwerven en dat ze abstracte kennis opdoen? Dat kan met degelijk onderwijs met veel aandacht voor theorie. Hoe zorg je dat studenten hun kennis in nieuwe situaties kunnen toepassen en hun eigen oplossingstrategieën kunnen ontwikkelen? Vrij onderwijs waar studenten los gelaten worden, in projecten bijvoorbeeld.

Het is dus én én en niet òf òf.

Kan 21st century onderwijs je leerlingen flexibeler maken? Ik denk dat het er nogal vanaf hangt hoe je onderwijs er nu al uit ziet.  Geef je nu alleen klassiek onderwijs waarin vakkennis centraal staat, dan is het misschien raadzaam iets meer ruimte te maken voor leervaardigheden en het ontwikkelen van eigen oplossingsstrategieën. Maar, als je nu al veel in projecten doet dan loop je met nog meer vaardigheden onderwijs het risico de vakkennis die de basis is voor adaptieve expertise, juist uit te hollen. Je moet volgens de adaptieve expertise mensen feitelijk een middenweg zien te vinden.

Misschien denk je nu: “maar dat deden we toch allang?”. Dan sta je vast niet alleen. Verandering is relatief. Als je als docent of school de laatste 25 jaar met geen enkele mode mee hebt gedaan wordt het hoog tijd voor een nieuwe garderobe, maar als je steeds de mode hebt bijgehouden kan je echt nog wel een jaartje toe met dat leuke jasje. Hét onderwijs hoeft niet helemaal anders. Heel erg ouderwets onderwijs moet (misschien) helemaal anders.

Want, zeg nou zelf. Meer nog dan of het wel zinvol is, vraag je je bij onderwijsvernieuwing vaak af welk onderwijs de onderwijsvernieuwers zèlf eigenlijk genoten hebben.

Meer Lezen?

Ik sprak al over kennistransfer toen ik me hier afvroeg wat echt basiskennis is. Ik sprak over de uitdagingen van het onderwijzen van nieuwe ontwikkelingen in mijn blog opkijken naar nieuwe kennis en ik schreef ik al eens een beschouwing over het vak geschiedenis.

 

Aan het denken over de toekomst en veranderingen besteedde ik aandacht in de blogjes vooruitgang en in opdracht van de tijd.

 

Voor dit artikel heb ik gebruik gemaakt van een systematische literatuurstudie over adaptieve expertise van de universiteit van Maastricht. Deze is helaas nog niet open access beschikbaar.