En welke ‘eisen’ er wel gesteld zouden mogen worden aan ‘PR-onderzoek’
Soms hoor je van die dingen waarbij je onmiddellijk denk ‘hè, dat kan niet kloppen?’. Dit overkwam mij afgelopen week toen ik van iemand hoorde dat het ANP een eis van ‘N=1.500’ zou stellen voor persberichten over onderzoek. Oftewel, bericht je over een onderzoek dan moet dat onderzoek zijn uitgevoerd onder minimaal 1.500 respondenten. Mijn eerste gedachte was ‘dat slaat nergens op’. Ik zal uitleggen waarom.
Onderzoek doet het in de media altijd goed. En ik moet zeggen, ik zet zelf best vaak mijn vraagtekens bij dit soort berichten. Hoe is het onderzoek uitgevoerd, hoe zijn de resultaten geïnterpreteerd? Meestal valt hier nog heel wat op af te dingen. Dat er richtlijnen of eisen zouden zijn vanuit een organisatie als het ANP, kan ik me dus zomaar voorstellen. Maar N=1.500?
Ons lievelingsvak statistiek
Graaf even terug in je statistieklessen: ‘N’ staat voor de steekproefgrootte. Om betrouwbare uitspraken te doen over een groep mensen (Np), moet je een bepaald deel van deze groep ondervragen (steekproef N). Hoe groter de totale groep, hoe kleiner het percentage wordt dat je nodig hebt voor je onderzoek. Van een groep van 100 mensen heb je een ‘respons’ van 80 personen nodig voor betr
ouwbare uitspraken. Is je doelgroep 1.000 mensen groot, dan zijn ca. 275 respondenten genoeg. En bij echt grote groepen, vanaf ongeveer 20.000, is een steekproef van circa 377 voldoende* wat vaak wordt afgerond naar 500. Waarom dan N= 1.500?
Van TNS Nipo naar SurveyMonkey
Toen ik me ruim tien jaar geleden voor het eerst bezighield met ‘PR-onderzoek’ bestond er nog geen SurveyMonkey, nog nauwelijks social media. Onderzoek zette je uit bij een marktonderzoeksbureau. Die bureaus stelden eisen, zoals een minimale respons van 500 mensen. Hun naam werd tenslotte ook verbonden aan een persbericht en indirect garandeerden zij zo in grote mate de betrouwbaarheid van het onderzoek.
Tegenwoordig is dat anders. Surveytools, social media en online panels maken het mogelijk dat organisaties zelf, voor veel minder geld, onderzoek uitvoeren. En dat gaat het in mijn ogen vaak mis. Want waar organisaties –mag je aannemen – veel weten van hun core business, heeft niet elke organisatie een onderzoeksexpert in dienst. Met als gevolg een wildgroei aan berichten over onderzoeken waar zeer veel vraagtekens bij de stellen zijn. En die vraagtekens mag een organisatie als het ANP van mij zeker stellen.
Welke eisen zouden dan wel relevant zijn?
Maar als ze die wel zouden hebben, welke zouden dan relevant zijn? Ik som er even een paar op: de steekproef moet representatief zijn en zo nodig gewogen worden. De data moeten betrouwbaar verkregen zijn. Hierover valt nog een hele blog te schrijven, wat ik ongetwijfeld binnenkort zal doen. Vervolgens moeten vergelijkingen tussen groepen altijd getoetst zijn op significantie. En de vertaalslag van resultaten naar het verhaal moet kloppen. En ja, natuurlijk moet de vragenlijst goed zijn. Een goed begin is ook hier het halve werk…
* Als je met 5% foutmarge een uitspraak wilt doen heb je een steekproef van minimaal N=377 nodig om het met 95% zekerheid iets te kunnen zeggen, met een steekproef van N=643 bereik je 99% zekerheid. Wil je de foutmarge verkleinen dan zijn grotere steekproeven nodig. Bereken je steekproefgrootte, foutenmarge en betrouwbaarheidsniveau via een online steekproefcalculator.
Kwalisite