Hoe funest is zelf-selectie voor opinieonderzoek?

Cecile Janssens
8 min readApr 23, 2021
Photo by Celpax on Unsplash

Eerder deze maand schreef ik een column in NRC over opiniepanels waarvoor deelnemers zich zelf aanmelden en enquêtes die via social media verspreid worden. ‘Waardeloze enquêtes’ was de kop.

Opinieonderzoek is ‘waardevol, niet waardeloos’, schreven de adviseurs van het EenVandaag Opiniepanel, de hoogleraren Bethlehem, Van der Meer en Van Holsteyn, in een ingezonden brief (volledige versie).

Waardeloos en waardevol. Onze conclusies staan lijnrecht tegenover elkaar, maar over de feiten zijn we het verrassend eens. Hier zijn alle punten op een rijtje.

Niet representatief

We zijn het eens dat onderzoek met zelf-aangemelde deelnemers geen representatieve resultaten oplevert. Representatieve resultaten krijg je alleen als mensen willekeurig uitnodigd zijn én iedereen meedoet of willekeurig afhaakt. Willekeurige uitnodiging is niet voldoende. Als genodigden afhaken omdat ze geen zin of tijd hebben, wordt vrijwel elk onderzoek niet-representatief.

Toch is het verschil tussen zelf-selectie en willekeurige uitnodiging groot. Een getallen voorbeeld illustreert het verschil in response rate, het deelnamepercentage. Het deelnamepercentage is het aantal deelnemers gedeeld door het aantal genodigden.

Berekening response rate

Bij zelf-aanmelding zijn alle 18-plussers in Nederland potentiële deelnemers zijn. Iedereen mag meedoen. Het EenVandaag Opiniepanel met 70.000 leden is daarmee slechts 0,5% van wie mee had kunnen doen. Als daarvan vervolgens de helft de enquête invult is de response rate 0,25%. Was het panel aselect uitgenodigd, dan representeren de 70.000 leden de Nederlandse bevolking en is bij een zelfde deelname de response rate 50%. Een response rate van 0,25% of 50%. Zelfs als alle leden van het EenVandaag Opiniepanel de enquête invullen is de response rate maar 0,5%, dan doet 1 op de 200 Nederlanders mee. Hoger wordt het niet.

Corrigeren door weging

Als resultaten niet representatief zijn kun je ze onder twee voorwaarden representatief te maken. Ook daarover zijn we het eens. Die voorwaarden zijn helder. Als je weet 1. wie er…

--

--

Cecile Janssens

Professor of epidemiology | Emory University, Atlanta USA | Writes about (genetic) prediction, critical thinking, evidence, and lack thereof.