Hoeveel stemmen heb je nodig voor een betrouwbare websitetest?

Tien stemmen vertellen je ongeveer waar je homepage staat. Vijftig stemmen vertellen je of een aanpassing verschil maakte. Elke stem is de indruk van één persoon, en mensen verschillen. Hoe meer stemmen, hoe dichter het gemiddelde komt bij wat bezoekers in het algemeen vinden. Deze gids laat zien hoeveel dichter, zodat je de juiste testgrootte kiest.

Waarom één mening niet genoeg is

Vraag één persoon of hij je website vertrouwt en je weet wat die persoon vindt. De volgende kan precies het tegenovergestelde zeggen. Pas als je veel antwoorden verzamelt, ontstaat een patroon waar je iets mee kunt. Dat is het idee achter StayOrBounce: veel korte stemmen op dezelfde vier vragen, in plaats van één lange review.

De foutmarge, uitgerekend

Elk resultaat dat op een steekproef is gebaseerd, heeft een foutmarge: het bereik waarin de "echte" score waarschijnlijk ligt. Een gangbare keuze is een marge van 95%, die je berekent als 1,96 keer de standaardfout.

Voor de stay-score, het aandeel reviewers dat zou blijven, is de marge het grootst als de score rond 50% ligt. Dat is het slechtste geval:

Stemmen	Marge op een stay-score van 50%
10	ongeveer ±31 procentpunten
20	ongeveer ±22 procentpunten
50	ongeveer ±14 procentpunten

Voor de gemiddelde score per vraag op de schaal van 1 tot 5 hangt de marge af van hoeveel reviewers het oneens zijn. Hebben hun antwoorden een standaardafwijking van 1 punt, dan zijn de marges:

Stemmen	Marge op een gemiddelde
10	ongeveer ±0,6
20	ongeveer ±0,4
50	ongeveer ±0,3

Dit zijn benaderingen, en met heel weinig stemmen zijn ze grof. Maar ze laten het patroon duidelijk zien: om de marge te halveren, heb je vier keer zoveel stemmen nodig.

Waar elke testgrootte goed voor is

10 stemmen: een eerste meting. Genoeg om een groot probleem te zien, zoals een gemiddelde van 2 op Snap ik wat dit is?. Niet genoeg om een 3,4 van een 3,7 te onderscheiden. StayOrBounce markeert een resultaat als betrouwbaar vanaf 10 stemmen; daaronder zie je het als tussenstand.
20 stemmen: een stevig beeld. De gemiddelden per vraag worden stabiel genoeg om te zien welke van de vier je zwakste punt is.
50 stemmen: versies vergelijken. Wil je weten of een nieuwe kop beter werkt dan de oude, dan heb je er zoveel nodig. Verschillen tussen twee versies zijn meestal kleiner dan de marge bij 10 stemmen.

Twee resultaten vergelijken vraagt meer stemmen

Als je twee campagnes vergelijkt, heeft elk resultaat een foutmarge, dus de marge op het verschil is groter dan op elk resultaat apart. Met 10 stemmen aan beide kanten moeten twee gemiddelden bijna een heel punt verschillen voordat je van een echt verschil kunt spreken. Met 50 stemmen aan beide kanten is ongeveer 0,4 punt genoeg.

StayOrBounce rekent dit voor je uit. Als je twee campagnes vergelijkt, krijgt elke vraag het label duidelijk beter, duidelijk slechter of binnen de ruis, op basis van de stemmen en de spreiding van beide resultaten. Lees werkt je redesign? voor hoe je zo'n vergelijking opzet.

Spreiding telt ook

Twee homepages kunnen allebei 3,5 scoren op vertrouwen: de ene omdat iedereen 3 of 4 antwoordde, de andere omdat de helft 1 en de helft 5 gaf. De tweede verdeelt je publiek, en het gemiddelde is minder zeker. Daarom zie je bij elk resultaat naast het gemiddelde ook de spreiding per vraag.

Meer stemmen zijn niet de enige weg naar meer zekerheid

Kies de juiste mensen. Stemmen van je echte doelgroep zijn meer waard dan meer stemmen van iedereen. Je kunt een doelgroep kiezen op land, leeftijdsgroep of rol.
Houd de vragen gelijk. Vaste vragen maken elke stem vergelijkbaar met elke andere stem. Daarom verandert StayOrBounce ze nooit.
Filter de ruis eruit. Stemmen die automatisch lijken tellen niet mee, en reviewers die vaak van de groep afwijken tellen minder zwaar. Zie hoe we websites scoren.