Evidence-based Practice

Zou het niet mooi zijn als professionals hun handelen wat meer zouden baseren op wetenschappelijk bewijs? Zodat leerlingen onderwijs krijgen waarvan we weten dat het werkt; zorgverleners die dingen doen die objectief het beste zijn voor hun patiënten; en zodat – waarom ook niet? – accountants de boeken op de best denkbare manier controleren? Het is eigenlijk moeilijk om daar tegen te zijn, toch? Nou ja, je raadt het al… Ik vind op zijn minst dat een paar kanttekeningen op hun plaats zijn.

Een van de lastige dingen van het bespreken van evidence based practice – het gebruiken van wetenschappelijk bewijs in de praktijk dus – is dat er verschillende varianten van het idee bestaan. De strikte variant legt de nadruk op de wetenschappelijkheid van het bewijs dat gebruikt wordt. De zachte variant legt vooral de nadruk op het gebruik van bewijs in de praktijk.

In de strikte variant moeten professionals dus op de hoogte zijn van de uitkomsten van wetenschappelijk onderzoek en hun praktijken daarop baseren. De strikte variant stelt eigenlijk dat het enige bewijs dat professionals mogen gebruiken, wetenschappelijk van aard zou moeten zijn. In de zachte variant moet een professional óók zoveel mogelijk bewijs gebruiken, maar dat hoeft niet per se wetenschappelijk te zijn. Een professional mag in de zachte variant ook zelf bewijs verzamelen door collega’s of haar doelgroep te ondervragen of door dingen aan hen voor te leggen. Met die zachte variant is ook van alles mis, maar dat bespreek ik later nog eens. In dit blogje wil ik vooral de strikte variant eens onder de loep nemen.

Laat me duidelijk zijn: ik ben een voorstander van evidence based medicine. Ik vind het belangrijk dat medische behandelingen die ik onderga, eerst wetenschappelijk bewezen zijn. Behandelingen die de toets der kritiek niet kunnen doorstaan, zoals gebedsgenezing, acupunctuur en homeopathie, kunnen bij mij rekenen op veel scepsis. Maar de vraag is volgens mij of dit idee van evidence based medicine te vertalen is naar onderwijs, (zachte) zorg en accounting; of dat die vakgebieden juist om een wezenlijk andere benadering vragen.

Mijn antwoord laat zich raden. Ik denk dat zorg, onderwijs en accounting anders zijn. In mijn ogen is evidence-based-practice namelijk gebaseerd op een one-size-fits-all gedachte terwijl deze vakgebieden -goede accountancy misschien uitgezonderd – eerder vragen om professioneel maatwerk. Maatwerk is nooit gebaseerd op één enkele bron van bewijs. Maatwerk stelt de situatie of de omgeving centraal waarin bepaalde ingrepen effectief kunnen zijn; terwijl veel wetenschappelijk werk die afhankelijkheid van context juist buiten beschouwing laat.

Dat zit hem in wat telt als wetenschappelijk bewijs. De heilige graal van aanhangers van evidence based practice is vaak de randomised controlled trial (RCT). Het idee van een RCT is dat we onderzoeken of een benadering werkt ongeacht wie het ondergaat of wie het uitvoert. Één groep patiënten krijgt een medicijn, een andere groep krijgt een nepmedicijn. Niemand weet wie in welke groep zit, de patiënten niet, de dokters niet, de onderzoekers niet. Daardoor kunnen we vaststellen of een medicijn werkzaam is los van de context: wie de patiënt is, wie de behandelaar is, hoe het contact tussen die twee verloopt. De bedoeling is immers om de effectiviteit van een bepaalde benadering te bewijzen voor elke context. Dus zonder rekening te houden met kundigheid van de dokters, of de specifieke wensen van patiënten of gebruikers. En dat is meteen de grote zwakte van de RCT.

Zeker: als een medicijn door een RCT komt, weten we zeker dat het werkt voor de meeste behandelaars en de meeste patiënten. Dat is waardevolle kennis voor zorgverleners. En ik zou zeker niet willen dat ze iets voorschrijven waarvan de werkzaamheid niet is aangetoond.

Maar, nu die leraar. Die bijvoorbeeld rare grappen maakt om de aandacht vast te houden. Mag hij dit wel doen als niet wetenschappelijk is aangetoond dat het werkt?

We willen zeker graag dat een docent methoden gebruikt waarvan hij weet dat ze werken. Het is fijn als hij passende werkvormen gebruikt, bijvoorbeeld. Daar heeft hij een opleiding voor genoten. Maar de grappen die hij maakt, horen daar niet bij. Het interesseert ons niet of die voor alle docenten en alle leerlingen werken.

Sterker nog: dat soort generalisaties zit misschien alleen maar in de weg. De details van zijn werk: hoe hij een relatie opbouwt, hoe hij verschillende leerlingen verschillend aanpakt, de duizenden andere beslissingen die een docent elke dag weer neemt? Die zijn aan het professionele oordeel van de docent. Dat finetunen moet hij zelf doen, dat vraagt om fingerspitzengefühl. Je wil dat zijn aandacht in de klas is bij hoe zijn leerlingen reageren, niet bij wat de wetenschap ervan zal vinden. Dit zijn contextspecifieke beslissingen, daarover kunnen RCT’s geen uitspraken doen.

Wat we van een docent willen, is dat hij goed waarneemt, ervaringskennis gebruikt, fouten maakt en daarvan leert binnen een grofmazig wetenschappelijk kader. Nu is dat in de geneeskunde niet anders. Artsen, zeker huisartsen, voegen dat stukje professionaliteit aan de wetenschap toe. Dit maakt het mogelijk maakt om mensen goede zorg te leveren, zonder ze te reduceren tot een statistiek. De evidence-based-practice discussie is dus, zoals zo vaak, geen zwart-witdiscussie. Het is vooral een gevecht om ruimte. Hoe strak moeten de wetenschappelijke kaders zijn – en met hoeveel autonomie gedijen professionals?

Interessant genoeg wordt deze discussie dan weer weinig op basis van wetenschappelijk bewijs gevoerd. De wetenschappers trekken vaak aan de evidence-based kant en onderbouwen hun standpunten ironisch genoeg met anekdotes over professionals die helemaal niet blijken te handelen naar hun mooie wetenschappelijke inzichten. De professionals trekken aan de autonomie-kant en komen met allerlei uitzonderingen waar de wetenschap niets over te zeggen heeft. Volgens mij komen we zo – al touwtrekkend – niet verder.

Je zou een meta-studie willen doen, waarin afhankelijk van het vakgebied vergeleken wordt of het vergroten of juist verkleinen van de professionele ruimte beter werkt. Dan kunnen we het debat op een wetenschappelijke in plaats van een anekdotische manier beslechten. Mits we het eerst wel eens eens kunnen worden over de miljoen dollar-vraag: wat bedoelen we eigenlijk met “beter”?

Meer lezen?

Ik schreef al eens een kritisch stuk over de praktijk van evidence-based-medicine getiteld ongezond. Die misstanden doen natuurlijk niets af aan de principes. In verkoudheid bespreek ik dat er verschillende soorten bewijs en manieren om die te wegen zijn. In A Priori ga ik in op situaties waar je juist liever niet het beste bewijs inzet.

Ongezond

Als de dokter een medicijn voorschrijft dan mag je hopen dat hij zich goed geïnformeerd heeft, dat de werkzaamheid van het medicijn is aangetoond en dat de bijwerkingen bescheiden zijn – en bekend. Misschien wil je ook nog dat het medicijn beter werkt, of anders toch goedkoper is, dan andere medicijnen op de markt. Om dat allemaal mogelijk te maken bestaat er een praktijk die evidence based medicine heet. Maar in de praktijk van ‘bewezen medicijnen’ gaat zoveel mis dat artsen eigenlijk geen fatsoenlijke medische beslissingen kunnen nemen.

Dat betoogt, althans, Ben Goldacre in zijn boek “Bad Pharma”. Het is een dikke pil waarin hij de praktijk van evidence based medicine helemaal afpelt. Hij laat zien hoe het zou moeten gaan, welke waarborgen er zouden moeten zijn en op hoeveel plekken het ook mis gaat. Als je evidence based medicine een warm hart toedraagt kan je van Goldacre’s betoog behoorlijk in de put raken, maar om het systeem te kunnen repareren moet je de fouten eerst blootleggen. Of, zoals Goldacre het brengt: “daylight is often a good disinfectant”.

Wat is er mis? Om dat te begrijpen moet je iets weten van de basisprincipes achter evidence based medicine. De gedachte is dat medicijnen grondig worden getest voordat ze (mogen) worden voorgeschreven. Dat gebeurt in zogenaamde “randomized controlled trials”. Het medicijn wordt aan een groep patiënten gegeven en een andere groep patiënten krijgt een nepmedicijn – een placebo -, of een concurrerend medicijn. Zo kan de werkzaamheid van het medicijn worden bewezen en kunnen artsen het daarna met een gerust hart voorschrijven.

Het kernprobleem in deze praktijk is ontbrekende gegevens. In essentie is het doen van een medische trial een kwestie van tellen. Hoeveel patiënten zijn gezond geworden in de groep die het medicijn kreeg? Hoeveel in de controlegroep? Is er geen verschil, dan werkt het medicijn niet; is het er wel, dan werkt het. Maar wat nou als je niet iedereen meetelt? Stel je voor dat je, bijvoorbeeld, mensen die gezond worden van het medicijn wèl telt en mensen waarvoor het niets doet niet. Dat lijkt flauw: alleen de gezonde mensen tellen, maar het is volgens Goldacre precies wat de farmaceutische industrie vaak doet.

Ontbrekende gegevens ontstaan grofweg op 2 manieren. Ten eerste worden er flink wat trials uitgevoerd, maar niet gerapporteerd. Neem Reboxetine, een anti-depressie-medicijn. Het medicijn had een positief resultaat in één trial waar 254 patiënten aan meededen. Maar toen onderzoekers gingen graven wisten ze zes, niet gepubliceerde, trials op te sporen met in totaal meer dan 2500 patiënten: zonder resultaat. Werkt Reboxetine? Waarschijnlijk niet. En in ieder geval niet zo goed als dat doctoren die alleen toegang hebben tot de gepubliceerde data denken.

Ontbrekende gegevens kunnen ook in een trial ontstaan, vaak vanwege praktische ingewikkeldheden. Hoe moet je bijvoorbeeld omgaan met mensen die uitvallen tijdens een trial. Tel je ze bij de groep voor wie het medicijn niet geholpen heeft? Dat kleurt je uitslag negatiever in dan misschien nodig. Of tel je ze helemaal niet mee en doe je alsof ze zich nooit ingeschreven hebben? Dat lijkt een neutrale keuze, maar dat is het niet. Omdat mensen die ziek worden van het medicijn of de bijwerkingen vaker afhaken, is de kans heel reëel dat het juist een positieve kleuring aan de resultaten geeft. Of wat te doen met trials die vroegtijdig gestopt worden? Niemand wil natuurlijk dat een trial langer duurt dan nodig. Mensen slikken experimentele medicijnen en noodzakelijkerwijs slikt een groep zieke mensen helemaal geen medicijn. Maar als je stopt zodra een trial een voldoende positief resultaat heeft, is de kans op een positief resultaat ook groter. Bij een negatief resultaat ga je door, waardoor het nog positief kan worden, maar bij een positief resultaat niet. Ook dan tel je gezonde patiënten zwaarder mee.

Deze problemen spelen in alle trials, niet alleen de trials die door de farmaceutische industrie worden uitgevoerd, maar daar gaat het, misschien niet helemaal onverwacht, wel veel vaker mis. Uit onderzoek blijkt dat als een trial is uitgevoerd door de fabrikant van een medicijn, in plaats van door een onafhankelijke instantie, de kans ongeveer vier keer zo groot is dat er een positief resultaat uitkomt. Dat hoeft geen fraude te zijn: het gaat eerder om ondeugdelijk onderzoek. Fabrikanten van medicijnen kunnen niet tellen. Of eigenlijk is het erger: ze rekenen zich rijk. En ja… verreweg de meeste trials worden uitgevoerd door de industrie. Een positieve trial is immers nodig om een medicijn op de markt te krijgen.

Allebei de vormen van verkeerd tellen zijn volstrekt gangbaar, maar ze vertroebelen het beeld voor artsen op een ontoelaatbare manier. Feitelijk hebben artsen, door het oppoetsen van trial data door de industrie, geen basis voor het nemen van deugdelijke medische beslissingen. Ze kunnen niet weten of een medicijn werkzaam is omdat de meeste informatie waarop ze zich moeten baseren ontbreekt en omdat die informatie waar ze wél beschikking over hebben alleen bestaat omdat het de fabrikant van het medicijn goed uitkwam. We praten hier niet over één medicijn of een beperkte groep maar voor veel, zo niet alle, medicijnen op de markt. En dat in een praktijk die over leven en dood gaat.

Dat is misselijkmakend natuurlijk. Dus zoekt Goldacre naar oorzaken. Hoe komt het toch dat zoveel data verloren gaat en achtergehouden wordt? Bij zo’n onderzoek komt de farmaceutische industrie er natuurlijk slecht af, maar ook de instanties die de goedkeuring voor medicijnen verlenen, academische tijdschriften, ethische commissies en de overheid laten volgens Goldacre veel te veel steken vallen. Door de bewijslast bij de industrie te leggen en door het ontbreken van waarborgen waardoor alle data ook beschikbaar zijn blijkt de praktijk van evidence based medicine wel heel schraal af te steken bij de ideeën die eraan ten grondslag liggen. En erg gezond is dat niet.

Meer lezen?

Bad Pharma is een bedachtzame aanklacht tegen misstanden in de praktijk evidence based medicin, het staat vol met feiten en inzichten waar ik in dit korte blogje natuurlijk geen recht aan kon doen. Lees het.

Dit is de eerste keer dat ik over evidence practice schrijf. Over de statistiek achter trials sprak ik (indirect) in groepsidentificaties en eerlijk vergelijken. Over de de werelbeelden die achter een diagnose schuil kunnen gaan sprak ik in verkoudheid.

Eerdere boekreviews gingen over Little Science, Big Science van Derek de Solla Price, The Meme Machine van Susan Blackmore , Laboratory Life en Science in Action, beide van Bruno Latour.