Blogpost
Impactevaluaties: ruimte voor twijfel?
De rol die overheden, non-profit organisaties en de private sector kunnen spelen bij het verminderen van armoede, het verduurzamen van wereldwijde voedselketens, en het streven naar meer gelijkheid binnen die ketens, is een grote motivatie voor mij, als ontwikkelingseconoom, en vast ook voor velen van jullie.
Sommige evaluatievragen rondom deze thema’s kunnen we positief beantwoorden, maar velen ook niet. Vaak weten we niet precies waarom. En even vaak wordt ons dat, als onderzoekers, niet in dank afgenomen. Onderzoekers moeten met antwoorden komen, niet met nóg meer vragen.
Zowel in academisch als toegepast onderzoek spelen belangen een grote rol
Het doen van toegepast onderzoek brengt de nodige uitdagingen met zich mee. Waar in de academische wereld al sprake is van een ‘publication bias’—onderzoek met positieve resultaten hebben meer kans op publicatie, dan onderzoek met nul-resultaat—in de wereld van overheden, NGO’s en private bedrijven begeef je je als onderzoeker in een mijnenveld van belangen. Een belangrijk gedeeld belang is leren.
Maar ook zaken als reputatie, ego en financiering spelen vlak onder de oppervlakte een grote rol.
Mijn eerste belang als onderzoeker, is het doen van kwalitatief goed onderzoek, gebaseerd op robuuste onderzoeksmethoden en kennis van zaken. Want: alleen op die manier kan je werkelijk iets leren over de mechanismen achter transitieprocessen. Op basis van dat robuuste onderzoek worden we als onderzoekers serieus genomen. Ja: ook reputatie is een groot belang. Ik heb ook belang bij een goede relatie met mijn opdrachtgever. Misschien komt er een vervolgopdracht?
Als resultaten tegenvallen...
Dus, wat te doen met resultaten die haaks staan op alle verwachtingen? Die we niet goed kunnen uitleggen? Met een beetje geluk is er budget voor aanvullend onderzoek. Dat is positief, want dat helpt om bevindingen in een bredere context te plaatsen. Maar er is lang niet altijd extra budget beschikbaar om echt te leren van wat we vinden. Het is verleidelijk om positieve resultaten dan meer aandacht te geven dan nul-resultaten.
En dan: veel opdrachtgevers en andere betrokkenen willen liefst tot op de komma meebepalen hoe bevindingen verwoord worden. Ik begrijp dat wel. Ook zij hebben – naast het leren of en hoe beleid werkt - grote belangen: toekomstige financiering en reputatie staan misschien op het spel. De precieze formulering van een samenvatting lijkt soms wel het enige wat telt. Om onze energie te richten op het begrijpen waarom we vinden wat we vinden, en wat we daarvan kunnen leren, moet je als onderzoeker stevig in je schoenen staan en een sterk team om je heen bouwen.
Eén beeld of 1000 woorden?
Het liefst willen opdrachtgevers evaluatieresultaten samengevat zien in een kekke infographic of een fancy dashboard: dit werkt wel, dat werkt niet. Een beeld zegt tenslotte meer dan 1.000 woorden. Maar... soms heb je die 1.000 woorden tóch nodig. Om uit te leggen hoe je resultaten moet interpreteren in het licht van de opzet van het onderzoek. Om bevindingen in een bredere context te kunnen plaatsen. Om te kunnen begrijpen wat de conclusies van het onderzoek betekenen. En bovenal: om er van te kunnen leren. Hoe het evaluatieonderzoek kan bijdragen aan beter beleid. Aan effectievere manieren om bij te dragen aan armoedereductie, aan verduurzaming van voedselketens. Want dat was tenslotte ons grootste gedeelde belang.
Het helpt om alle belangen op tafel te leggen. Want dan kunnen onderzoekers opdrachtgevers beter helpen bij het communiceren van resultaten —de logische én de verwarrende— naar kritische managers, financiers en journalisten.
We leren het meest van nieuwe vragen
Want sóms roepen evaluaties misschien wel meer vragen op dan dat ze pasklare antwoorden geven. Maar is dat niet de grootste winst? Dat we overtuigingen, over hoe de wereld te redden zou zijn, in twijfel moeten trekken. Dat een interventie waar we heilig in geloofden, misschien een ander effect heeft dan we verwachtten. Daarom mijn pleidooi aan ons allemaal:
Laten we over onze belangen-schaduwen heenstappen, en ruimte houden voor twijfel, voor nieuwe vragen, en voor nieuwsgierigheid in evaluatieonderzoek. Want daarvan leren we het meest.