Hoe funest is zelf-selectie voor opinieonderzoek?
Eerder deze maand schreef ik een column in NRC over opiniepanels waarvoor deelnemers zich zelf aanmelden en enquêtes die via social media verspreid worden. ‘Waardeloze enquêtes’ was de kop.
Opinieonderzoek is ‘waardevol, niet waardeloos’, schreven de adviseurs van het EenVandaag Opiniepanel, de hoogleraren Bethlehem, Van der Meer en Van Holsteyn, in een ingezonden brief (volledige versie).
Waardeloos en waardevol. Onze conclusies staan lijnrecht tegenover elkaar, maar over de feiten zijn we het verrassend eens. Hier zijn alle punten op een rijtje.
Niet representatief
We zijn het eens dat onderzoek met zelf-aangemelde deelnemers geen representatieve resultaten oplevert. Representatieve resultaten krijg je alleen als mensen willekeurig uitnodigd zijn én iedereen meedoet of willekeurig afhaakt. Willekeurige uitnodiging is niet voldoende. Als genodigden afhaken omdat ze geen zin of tijd hebben, wordt vrijwel elk onderzoek niet-representatief.
Toch is het verschil tussen zelf-selectie en willekeurige uitnodiging groot. Een getallen voorbeeld illustreert het verschil in response rate, het deelnamepercentage. Het deelnamepercentage is het aantal deelnemers gedeeld door het aantal genodigden.
