dinsdag 13 september 2011

Waar Rook is, is Vonk: een wetenschapsles

Wetenschappers hebben een imagoprobleem.

Het summum van wetenschappelijk succes mag dan een retourtje Stockholm zijn, in de praktijk gaat onderzoek maar met kleine stapjes vooruit. De dagelijkse praktijk is minuscuul geschuifel op de milimeter. Diep graven, lang ploegen, stug volhouden - dat soort werk. En als je dan geluk hebt, draag je je kiezelsteentje bij aan De Vooruitgang.
Soms blijkt, jaren later, ineens dat zo'n kiezelsteentje voor een gigantische aardverschuiving is gaan zorgen. Dan komen er plotsklaps spin-offs en spannende praktische toepassingen uit voort. Die zijn vaak onverwacht en niet vooraf te voorspellen. Dat is een belangrijk argument dat wetenschappers (terecht) vaak gebruiken om te onderbouwen waarom het zo belangrijk is dat er geld blijft voor fundamenteel wetenschappelijk onderzoek. Onderzoek dat (voor niet wetenschappers dan) misschien niet zo spannend is. Onderzoek waarvan niet meteen duidelijk is 'waar het allemaal goed voor is'.
En daar komt het imagoprobleem om de hoek kijken. Want hoe verkoop je nou als onderzoeker je werk als dat mijlenver van de gemiddelde burger af staat? Mediatraining krijgen ze doorgaans niet. Slechts een enkeling (denk oud minister Plasterk) heeft de gave om aan een breed publiek duidelijk maken waar hij of zij nou eigenlijk aan werkt. En dan nog moeten er af en toe even een paar flinke (en losse) vertaalslagen gemaakt worden om de zaken enigszins begrijpelijk over te brengen en om toch vooral maar aan te geven 'waar het allemaal goed voor is'. Want laten we wel wezen, iedereen wil een geneesmiddel tegen kanker, niemand wil echt in detail iets horen over moleculen en eiwitten of ingewikkelde chemische processen.

Gisteravond slaagde professor (nog wel) Roos Vonk er persoonlijk in om de hele ivoren toren op zijn grondvesten te doen schudden. Ze maakte er in een paar minuten een wankel geval uit Pisa van. Wat was er aan de hand?

Roos Vonk, hoogleraar sociale psychologie in Nijmegen, was aan tafel aangeschoven bij Pauw en Witteman. Ze heeft zich namelijk in het nationale drama omtrent de wetenschapsfraude die is gepleegd door Diederik Stapel (non-actief te Tilburg) opgeworpen als spokesperson.
Zou ze daar nou inmiddels al spijt van hebben?
Kijk en oordeel eerst zelf:



Popquiz: Wat gaat hier allemaal mis?

Antwoord: Een heleboel.

En dan hebben we het niet eens over dat fameuze persbericht ("Vleeseters zijn Hufters"), waarvan het echt een volstrekt raadsel is waarom dat zo prematuur (want nog voordat het eigenlijke onderzoek de gebruikelijke wetenschappelijke kwaliteitscheck, het zogeheten 'peer review' - een beoordeling door vakgenoten- had doorstaan) de wereld in is gestuurd. Het is tenslotte niet alsof de resultaten van dit onderzoek het einde van de oorlog in Afghanistan zouden bespoedigen.
What's the hurry?, vraag je je af.
Nee, dan hebben we het ook nog niet eens over het feit dat je je uberhaupt kunt afvragen wat het belang is van dit zogeheten vleesonderzoek. Meer dan een leuke column of een snippet bij de Vijf Uur Show levert zoiets toch niet op? Maar met zulke redeneringen moet je uitkijken, want misschien kom je er over honderd jaar wel achter dat het erkennen van de 'high meat identifier' het wereldvoedselprobleem heeft opgelost.
Je weet tenslotte maar nooit...

Nee, het meest treurige is dat Vonk een uitgelezen kans mist om P&W kijkend Nederland een gratis college Wetenschap Bedrijven 101 voor te schotelen. Ze slaat namelijk een paar geweldige flaters, die volstrekt onjuist weergeven hoe een wetenschapper te werk dient te gaan (en doorgaans gaat!). Er zit voor de TV dokter niets anders op dan nog een poging te doen om recht te breien wat krom is.

We analyseren even het fragment:

Op 3:51 graaft Vonk haar eigen graf door gebruik te maken van het woord "verwachting". Jeroen Pauw duikt er meteen bovenop, en terecht, want het doet voorkomen alsof ze volkomen bevooroordeeld (met 'bias', heet dat officieel) dat onderzoek is ingegaan.
Misschien heeft Vonk niet door dat dit een ongelukkige woordkeus is? Dat zou raar zijn. Ze is juist een van Neerlands meest populaire knuffelwetenschappers en heeft dus al vaker met het mediabijltje gehakt. Het is in haar te prijzen dat ze het allemaal zonder vakjargon probeert te doen (twee zinnen later legt ze wel netjes uit wat 'ecologisch' betekent), maar wat zij hier had moeten doen, is het begrip 'hypothese' introduceren.

Op 4:41 heeft ze het over "lukken". Hee, nu blijkt ook dat P&W het woord hypothese helemaal niet te moeilijk vinden, want Jeroen Pauw legt zelf de kijker even uit wat ze dan met 'lukken' bedoelt: "En lukken is dat je hypothese wordt bevestigd." Jazeker! beaamt Roos. Ook Maurice de Hond gebruikt gelijke bewoordingen wanneer hij op 10:06 aan het woord komt. Never van z'n nooit niet! roept de TV dokter.

Wat Vonk en consorten hier doen, door nog een paar onhandige "Dit is precies wat we verwachtten"(5:36) en "als je resultaten afwijken van wat je verwacht is het altijd zo dat je teleurgesteld bent" (8:10) is iets verkondigen dat pertinent onwaar is: Namelijk de veronderstelling dat een wetenschapper zoekt naar bevestiging van een hypothese.  Dat doet hij of zij namelijk helemaal niet.
Waarom niet? Omdat het onmogelijk is!
Je kunt een hypothese ("alle songfestivalliedjes zijn slecht") namelijk pas bevestigen als je alle gevallen hebt onderzocht. Nu is dat in het geval van het songfestivalrepertoire nog wel te doen (John de Mol is er momenteel druk mee bezig), maar alle vleeseters in Nederland nalopen zal wat lastiger zijn. Wetenschappers proberen dan ook altijd hard hun hypothese juist onderuit te halen. Ze zoeken naar dat ene liedje van Abba, dat aantoont dat ze het bij het verkeerde eind hadden. Erachter komen dat je hypothese onjuist was klinkt misschien niet leuk, maar het is het enige dat de wetenschap vooruit helpt omdat je dan weer verder kunt: nieuwe hypotheses vormen en een andere kant op denken.

Om alle emotionele betrokkenheid en subjectiviteit uit de weg te gaan, formuleren wetenschappers dan ook vaak een 'nul hypothese'. Die veronderstelt dat er geen verschil is tussen twee groepen. In het geval Vonk zou dat dus geweest zijn: "Vleeseters zijn net zulke hufters als vegetariers'. Vervolgens test je de proefpersonen in het onderzoek dat je hebt opgezet.
Of dat onderzoek 'lukt' hangt, in tegenstelling tot wat Vonk verkondigt, totaal niet samen met de eigenlijke uitkomst. 'Lukken' is louter en alleen gebaseerd op strenge criteria en controles, zodat de wetenschapper naar beste eer en geweten kan uitsluiten dat er rare verstoringen in het spel waren die de uitkomst van het onderzoek zouden hebben kunnen beinvloeden. Als er geen reden is om aan te nemen dat er iets mis was met de omstandigheden waaronder het onderzoek of experiment werd uitgevoerd, is het experiment interpreteerbaar en zal blijken of de nulhypothese bevestigd of verworpen wordt.
Nu is het direct duidelijk dat bevestiging niets oplevert: "Vleeseters zijn net zulke hufters als vegetariers" levert tenslotte geen spannend persbericht op!

Blijft natuurlijk de vraag: waarom maakt Vonk deze fouten?
Is het omdat ze totaal overdonderd is door het spervuur van dynamisch batillion P&W? Ze zijn natuurlijk wel lastig. En twee tegen een blijft niet eerlijk. Of is het omdat ze echt niet weet hoe het hoort? Dat laatste zou natuurlijk een ramp zijn. Misschien dat ze haar in Nijmegen toch nog even een tentamen moeten afnemen, voor ze weer voor de collegebanken mag gaan staan...

Ja, wetenschappers hebben een imagoprobleem. En deze week heet dat probleem Roos Vonk.

2 opmerkingen:

  1. een goede analyse, chapeau!

    BeantwoordenVerwijderen
  2. Bedank, dokter. Na lezing van dit stukje heb ik toch maar even gekeken. Allemachtig. Het is zoooo debiel. Vonks optreden getuigt van zo'n fundamenteel verkeerd begrip van wetenschap, je verzint het gewoon niet. Terwijl juist mevrouw Vonk toch wel eens in de verte van Popper gehoord moet hebben. Er is weinig hoop, vrees ik.

    High Meat Identifiers
    Low Meat Identifiers

    Je vindt in de literatuur welgeteld drie Australische studies waarin deze begrippen worden gebruikt, plus een 'meta analyse' van die drie studies.

    Het zijn boterzachte onderzoekjes, waarin eigenlijk niets werd gevonden en waarin niet werd gecorrigeerd voor de voor de hand liggende confounders. Als ik het goed heb - maar ik wil niet te veel tijd in die malligheid steken - namen die Australische teams waar dat mensen die geen vlees eten 'trekken van agressie' vertoonden wanneer ze naar een plaatje van een stukje vlees keken. Met andere woorden: vegetariers reagereren als 'hufters' wanneer ze vlees zien (veel gewone mensen hebben dit fenomeen in de praktijk ondervonden). Hieruit trekt Vonk de bizarre conclusie dat vleeseters hufters zijn.

    In een ideale wereld had de redactie van P&W direct na het voorgesprek het 'onderzoek' waar Vonk haar hypothese op baseert nagetrokken en zou ze in de uitzending door P&W zijn geconfronteerd met de ondeugdelijkheid van die onderzoeksbasis.

    Jesus wept.

    BeantwoordenVerwijderen