Evidence-based Practice

Zou het niet mooi zijn als professionals hun handelen wat meer zouden baseren op wetenschappelijk bewijs? Zodat leerlingen onderwijs krijgen waarvan we weten dat het werkt; zorgverleners die dingen doen die objectief het beste zijn voor hun patiënten; en zodat – waarom ook niet? – accountants de boeken op de best denkbare manier controleren? Het is eigenlijk moeilijk om daar tegen te zijn, toch? Nou ja, je raad het al…. Ik vind op zijn minst dat een paar kanttekeningen op hun plaats zijn.

Een van de lastige dingen van het bespreken van evidence based practice – het gebruiken van wetenschappelijk bewijs in de praktijk dus – is dat er verschillend varianten van het idee bestaan. De strikte variant legt de nadruk op de wetenschappelijkheid van het bewijs dat gebruikt wordt. De zachte variant legt vooral de nadruk op het gebruik van bewijs in de praktijk.

In de strikte variant moeten professionals dus op de hoogte zijn van de uitkomsten van wetenschappelijk onderzoek en hun praktijken daarop baseren. De strikte variant stelt eigenlijk dat het enige bewijs dat professionals mogen gebruiken, wetenschappelijk van aard zou moeten zijn. In de zachte variant moet een professional óók zoveel mogelijk bewijs gebruiken, maar dat hoeft niet persé wetenschappelijk te zijn. Een professional mag in de zachte variant ook zelf bewijs verzamelen door collega’s of haar doelgroep te ondervragen of door dingen aan hen voor te leggen. Met die zachte variant is ook van alles mis, maar dat bespreek ik later nog eens. In dit blogje wil ik vooral de strikte variant eens onder de loep nemen.

Laat me duidelijk zijn: ik ben een voorstander van evidence based medicin. Ik vind het belangrijk dat medische behandelingen die ik onderga eerst wetenschappelijk bewezen zijn. Behandelingen die die toets der kritiek niet kunnen weerstaan zoals gebedsgenezing, acupunctuur en homeopathie, kunnen bij mij rekenen op veel scepsis. Maar de vraag is volgens mij of dit idee van evidence based medicin te verplaatsen is naar onderwijs, (zachte) zorg en accounting; of dat die vakgebieden juist om een wezenlijk andere benadering vragen?

Mijn antwoord laat zich raden. Ik denk dat zorg, onderwijs en accounting anders zijn. In mijn ogen is evidence-based-practice namelijk gebaseerd op een one-size-fits all gedachte terwijl deze vakgebieden -goede accountancy misschien uitgezonderd – eerder vragen om professioneel maatwerk. Maatwerk is nooit gebaseerd op een enkele bron van bewijs. Maatwerk stelt de situatie of de omgeving centraal waarin bepaalde ingrepen effectief kunnen zijn, terwijl veel wetenschappelijk werk die afhankelijkheid van context juist buiten beschouwing laat.

Dat zit hem in wat telt als wetenschappelijk bewijs. De heilige graal van aanhangers van evidence based practice aanhangers is vaak de randomised controlled trial (RCT). Het idee van een RCT is dat we onderzoeken of een benadering werkt ongeacht van wie het ondergaat of van wie het uitvoert. Één groep patiënten krijgt een medicijn, een andere groep krijgt een nepmedicijn. Niemand weet wie in welke groep zit, de patiënten niet, de doctoren niet, de onderzoekers niet. Hierdoor kunnen we vaststellen of een medicijn werkzaam is los van de context: wie de patiënt is, wie de behandelaar is, hoe het contact tussen die twee verloopt. De bedoeling is immers om de effectiviteit van een bepaalde benadering contextvrij vast te stellen; dus zonder rekening te houden met de capaciteiten van de betrokken professionals en de individuele behoeften van patiënten of gebruikers. En dat is meteen de grote zwakte.

Zeker: als een medicijn door een RCT komt weten we zeker dat het werkt voor de meeste behandelaars en de meeste mensen. Dat is waardevolle kennis voor behandelaars. En ik zou zeker niet willen dat ze dingen voorschreven waarvan de werkzaamheid niet is aangetoond.

Maar, nu die leraar. Die bijvoorbeeld rare grappen maakt om de aandacht vast te houden. Mag hij dit wel doen als niet wetenschappelijk is aangetoond dat het werkt?

We willen zeker graag dat docenten zich bedienen van methoden waarvan we weten dat ze werken zoals het gebruik van passende werkvormen, waaronder directe instructie. Daar heeft hij een opleiding voor genoten. Maar de grappen die hij maakt horen daar niet bij. Het interesseert ons niet of die voor alle docenten en alle leerlingen werken.

Sterker nog dat soort generalisaties zit misschien alleen maar in de weg. De details van zijn werk: hoe hij een relatie opbouwt hoe hij verschillende leerlingen verschillend aanpakt, de duizenden andere beslissingen die een docent elke dag weer maakt? Die zijn aan het professionele oordeel van de docent. Dat finetunen moet hij zelf doen, dat vraagt om fingerspitsen gefühl. Je wil dat zijn aandacht in de klas is bij hoe zijn leerlingen reageren, niet bij wat de wetenschap er van zal vinden. Dit zijn contextspecifieke beslissingen, daarover kunnen RCT’s geen uitspraken doen.

Wat we van een docent willen is dat hij goed waarneemt, ervaringskennis gebruikt, fouten maakt en daarvan leert binnen een grofmazig wetenschappelijk kader. Nu is dat in de medicijnen niet anders. Artsen, zeker huisartsen voegen dat stukje professionaliteit aan de wetenschap toe dat het mogelijk maakt mensen goede zorg te leveren, zonder ze te reduceren tot een statistiek. De evidence based practice discussie is dus, zoals zo vaak geen zwart-wit discussie. Het is vooral een gevecht om ruimte. Hoe strak moeten de wetenschappelijke kaders zijn en met hoeveel autonomie gedijen professionals.

Interessant genoeg, wordt deze discussie niet op basis van wetenschappelijk bewijs gevoerd. De wetenschappers trekken typisch aan de evidence based kant en onderbouwen hun standpunten met anekdotes over professionals die helemaal niet blijken te handelen naar hun mooie wetenschappelijke inzichten. De professionals trekken aan de autonomie kant en komen met allerlei uitzonderingen waar de wetenschap niets over te zeggen heeft, of zelfs het verkeerde zei. Volgens mijn komen we zo – al touwtrekkend dus – niet verder.

Je zou een meta-studie willen doen, waar afhankelijk van het vakgebied vergeleken wordt of het vergroten of juist verkleinen van de professionele ruimte beter werkt. Dan kunnen we het debat op een wetenschappelijke in plaats van een anekdotische manier beslechten. Mits we het eerst wel eens eens kunnen worden over de 1000000 dollar vraag: wat bedoelen we eigenlijk met “beter”?

Meer lezen?

Ik schreef al eens een kritisch stuk over de praktijk van evidence based medicin getiteld ongezond. Die misstanden doen natuurlijk niets af aan de principes. In verkoudheid bespreek ik dat er verschillende soorten bewijs en manieren om die te wegen zijn. In A Priori ga ik in op situaties waar je juist liever niet het beste bewijs inzet.

Ongezond

Als de dokter een medicijn voorschrijft dan mag je hopen dat hij zich goed geïnformeerd heeft, dat de werkzaamheid van het medicijn is aangetoond en dat de bijwerkingen bescheiden zijn – en bekend. Misschien wil je ook nog dat het medicijn beter werkt, of anders toch goedkoper is, dan andere medicijnen op de markt. Om dat allemaal mogelijk te maken bestaat er een praktijk die evidence based medicin heet. Maar in de praktijk van ‘bewezen medicijnen’ gaat zoveel mis dat doctoren eigenlijk geen fatsoenlijke medische beslissingen kunnen nemen.

Dat betoogt, althans, Ben Goldacre in zijn boek “Bad Pharma”. Het is een dikke pil waarin hij de praktijk van evidence based medicin helemaal afpelt. Hij laat zien hoe het zou moeten gaan, welke waarborgen er zouden moeten zijn en op hoeveel plekken het ook mis gaat. Als je evidence based medicin een warm hart toedraagt kan je van Goldacre’s betoog behoorlijk in de put raken, maar om het systeem te kunnen repareren moet je de fouten eerst blootleggen. Of, zoals Goldacre het brengt: “daylight is often a good disinfectant”.

Wat is er mis? Om dat te begrijpen moet je iets weten van de basisprincipes achter evidence based medicin. De gedachte is dat medicijnen grondig worden getest voordat ze (mogen) worden voorgeschreven. Dat gebeurd in zogenaamde “randomised controled trials”. Het medicijn wordt aan een groep patiënten gegeven en een andere groep patiënten krijgt een nepmedicijn – een placebo -, of een concurrerend medicijn. Zo kan de werkzaamheid van het medicijn worden bewezen en kunnen doctoren het daarna met een gerust hart voorschrijven.

Het kernprobleem in deze praktijk is missing data. In essentie is het doen van een medische trial een kwestie van tellen. Hoeveel patiënten zijn gezond geworden in de groep die het medicijn kreeg? Hoeveel in de controlegroep? Is er geen verschil, dan werkt het medicijn niet; is het er wel, dan werkt het. Maar, wat nou als je niet iedereen meetelt? Stel je voor dat je, bijvoorbeeld, mensen die gezond worden van het medicijn wèl telt en mensen waarvoor het niets doet niet. Dat lijkt flauw: alleen de gezonde mensen tellen, maar het is volgens Goldacre precies wat de farmaceutische industrie vaak doet.

Missing data ontstaat grofweg op 2 manieren. Ten eerste worden er flink wat trials uitgevoerd, maar niet gerapporteerd. Neem Reboxetine, antidepresiva. Het medicijn had een positief resultaat in één trial waar 254 patienten aan meededen. Maar, toen onderzoekers gingen graven wisten ze zes, niet gepubliceerde, trials op te sporen met in totaal meer dan 2500 patiënten – zonder resultaat. Werkt Reboxitine? Waarschijnlijk niet. En in ieder geval niet zo goed als dat doctoren die alleen toegang hebben tot de gepubliceerde data denken.

Missing data kan ook in een trial ontstaan, vaak vanwege praktische ingewikkeldheden. Hoe moet je bijvoorbeeld omgaan bij mensen die uitvallen tijdens een trial. Tel je ze bij de groep voor wie het medicijn niet geholpen heeft? Dat kleurt je uitslag negatiever in dan misschien nodig. Of tel je ze helemaal niet mee en doe je alsof ze zich nooit ingeschreven hebben? Dat lijkt een neutrale keuze, maar dat is het niet. Omdat mensen die ziek worden van het medicijn of de bijwerkingen, vaker afhaken is de kans heel reëel dat het juist een positieve kleuring aan de resultaten geeft. Of wat te doen met trials die vroegtijdig gestopt worden? Niemand wil natuurlijk dat een trial langer duurt dan nodig. Mensen slikken experimentele medicijnen en noodzakelijkerwijs slikt een groep zieke mensen helemaal geen medicijn. Maar als je stopt zodra een trial een voldoende positief resultaat heeft is de kans op een positief resultaat ook groter. Bij een negatief resultaat ga je door, waardoor het nog positief kan worden, maar bij een positief resultaat niet. Ook dan tel je gezonde patiënten zwaarder mee.

Deze problemen spelen in alle trials, niet alleen die die door de farmaceutische industrie worden uitgevoerd, maar daar gaat het, misschien niet helemaal onverwacht, wel veel vaker mis. Uit onderzoek blijkt dat als een trial is uitgevoerd door de fabrikant van een medicijn, in plaats van door een onafhankelijke instantie, de kans ongeveer 4 keer zo groot is dat er een positief resultaat uit komt. Dat hoeft geen fraude te zijn: het gaat eerder om ondeugdelijk onderzoek. Fabrikanten van medicijnen kunnen niet tellen. Of eigenlijk is het erger: ze rekenen zich rijk. En ja… verreweg de meeste trials worden uitgevoerd door de industrie. Een positieve trial is immers nodig om een medicijn op de markt te krijgen.

Allebei de vormen van verkeerd tellen zijn volstrekt gangbaar, maar ze vertroebelen het beeld voor doctoren op een ontoelaatbare manier. Feitelijk hebben doctoren, door het oppoetsen van trial data door de industrie, geen basis om deugdelijke medische beslissingen op te nemen. Ze kunnen niet weten of een medicijn werkzaam is omdat de meeste informatie waarop ze zich moeten baseren ontbreekt en omdat die informatie waar ze wel beschikking over hebben alleen bestaat omdat het de fabrikant van het medicijn goed uit kwam. We praten hier niet over één medicijn of een beperkte groep maar voor veel, zo niet alle, medicijnen op de markt. En dat in een praktijk die over leven en dood gaat.

Dat is misselijkmakend natuurlijk. Dus zoekt Goldacre naar oorzaken. Hoe komt het toch dat zoveel data verloren gaat en achter gehouden wordt? Bij zo’n onderzoek komt de farmaceutische industrie er natuurlijk slecht af, maar ook de instanties die de goedkeuring voor medicijnen verlenen, academische tijdschriften, ethische commissies en de overheid laten volgens Goldacre veel te veel steken vallen. Door de bewijslast bij de industrie te leggen en door het ontbreken van waarborgen waardoor alle data ook beschikbaar zijn blijkt de praktijk van evidence based medicin wel heel schraal af te steken bij de ideeën die er aan ten grondslag liggen. En erg gezond is dat niet.

Meer lezen?

Bad Pharma is een bedachtzame aanklacht tegen misstanden in de praktijk evidence based medicin, het staat vol met feiten en inzichten waar ik in dit korte blogje natuurlijk geen recht aan kon doen. Lees het.

Dit is de eerste keer dat ik over evidence practice schrijf. Over de statistiek achter trials sprak ik (indirect) in groepsidentificaties en eerlijk vergelijken. Over de de werelbeelden die achter een diagnose schuil kunnen gaan sprak ik in verkoudheid.

Eerdere boekreviews gingen over Little Science, Big Science van Derek de Solla Price, The Meme Machine van Susan Blackmore , Laboratory Life en Science in Action, beide van Bruno Latour.