Werkt je redesign? Zo meet je voor en na

Om te weten of een redesign werkte, meet je voor en na hetzelfde, op dezelfde manier, met genoeg stemmen aan beide kanten. Dat klinkt vanzelfsprekend, maar de meeste redesigns worden beoordeeld op gevoel, op de mening van degene die ervoor betaalde, of op analytics die om tientallen andere redenen veranderden. Deze gids laat zien hoe je een eerlijke vergelijking van de eerste indruk opzet.

Waarom "het ziet er beter uit" niet genoeg is

Iedereen die aan een redesign werkte, heeft de nieuwe versie al vaak gezien. Ze weten wat hij moet zeggen, en ze willen dat hij beter is. Opdrachtgevers en collega's zitten in dezelfde positie. Wat je wilt weten is of een vreemde, die hem voor het eerst ziet, hem beter begrijpt, meer vertrouwt of langer zou blijven. Dat betekent: het twee keer aan vreemden vragen.

Stap 1: meet voordat je iets verandert

Draai eerst een campagne op de huidige versie. Dat is je nulmeting. Zonder nulmeting heb je niets om mee te vergelijken, en je kunt niet terug als de oude site eenmaal weg is. Mik op hetzelfde aantal stemmen als je voor de nieuwe versie wilt verzamelen.

Stap 2: verander één ding, als het kan

Pas je de kop, de foto en de kleuren tegelijk aan en gaat de score omhoog, dan weet je niet welke aanpassing het deed. Bij een volledig redesign is dat geen probleem: je wilt alleen weten of de nieuwe versie als geheel beter is. Om bij te schaven verander je één element per ronde. De kop is meestal de beste plek om te beginnen, zie een homepage-kop schrijven.

Stap 3: houd al het andere gelijk

Een vergelijking is alleen eerlijk als het enige verschil de aanpassing zelf is:

• Dezelfde doelgroep. Gebruikte de eerste campagne reviewers van overal en de tweede alleen ondernemers uit Nederland, dan kan het verschil van de mensen komen, niet van de pagina.
• Dezelfde pagina. Vergelijk de homepage met de homepage, niet met een nieuwe landingspagina.
• Ongeveer hetzelfde aantal stemmen. Een resultaat met 10 stemmen is veel onzekerder dan een met 50. Zie hoeveel stemmen je nodig hebt.

Op StayOrBounce veranderen de vier vragen nooit, en elke campagne bewaart zijn eigen screenshots. Zo laat het oude resultaat altijd de versie zien die mensen echt beoordeelden.

Stap 4: lees het verschil, niet alleen de cijfers

Een stay-score die van 52% naar 60% gaat, ziet eruit als vooruitgang. Met 10 stemmen aan beide kanten valt dat ruim binnen de ruis: dezelfde pagina twee keer testen kan makkelijk zo'n verschil geven. Zelfs met 50 stemmen aan beide kanten moet de stay-score zo'n 20 procentpunten verschuiven voordat het verschil duidelijk is.

Als je twee campagnes vergelijkt, krijgt elke vraag op StayOrBounce het label duidelijk beter, duidelijk slechter of binnen de ruis. Een verschil telt als duidelijk als het groter is dan de foutmarge van het verschil bij 95% betrouwbaarheid. Beide campagnes hebben minstens 10 stemmen nodig voordat er een oordeel verschijnt.

"Binnen de ruis" betekent niet dat er niets veranderde. Het betekent dat deze stemmen het niet kunnen zeggen. Is het verschil belangrijk voor je, verzamel dan meer stemmen op beide versies.

Stap 5: kijk naar segmenten, voorzichtig

Heb je meerdere landen, leeftijdsgroepen of rollen gekozen, dan kun je de resultaten ook per groep vergelijken. Groepen zijn klein, dus hun marges zijn groot: zie een verschil tussen segmenten als een aanwijzing, niet als een conclusie. StayOrBounce toont een segment pas vanaf 3 stemmen, en dat is een minimum, geen garantie.

Wat een betere eerste indruk niet bewijst

Een hogere score op Zou ik blijven? betekent dat vreemden zeggen dat ze zouden blijven. Het bewijst geen extra verkopen of aanmeldingen. Kijk als de nieuwe versie een tijdje live staat wat bezoekers echt doen: je engagement rate, aanmeldingen of aanvragen. Heb je genoeg verkeer, dan geeft een A/B-test het meest directe antwoord. Een eerste-indruktest is de snellere eerste check, en werkt al voordat je dat verkeer hebt.