A/B testing en multivariate testing

Als je je website wilt optimaliseren, zul je tests moeten uitvoeren. Je wilt bijvoorbeeld weten welke indeling van je pagina leidt tot de hoogste conversie. Ook kan het zijn dat je je afvraagt of een extra visual leidt tot meer user registraties. De ene keer volstaat een simpele A/B test, maar een andere keer zul je gebruik moeten maken van multivariaat testen. Nu zijn dit termen die bij veel marketeers niet al te bekend zijn, dus in dit artikel gaan we eens een aantal van deze termen doorlopen. Indien je statistische kennis niet al te best is, raadt ik je aan eerst eens te lezen wat een gemiddelde en een standaarddeviatie is.

Wat is A/B testen?

Een A/B test is een test waarbij je twee verschillende situaties test op effectiviteit. Bij deze methode worden bezoekers van een website willekeurig opgedeeld in twee groepen, groep A en groep B. Deze bezoekers merken zelf niks van deze opdeling, ze zijn zich er dan ook niet van bewust dat ze meedoen aan een onderzoek. Zo kan het bijvoorbeeld zijn dat je je CTR van je Adsense advertenties wilt verhogen en besluit de layout van de advertentie meer opvallend te maken. Als je dan de Caction=”http://test.gojow. van de oude advertentie naast die van de nieuwe advertentie legt, kun je zien welke layout het beste converteert.

Voor- en nadelen A/B testen

A/B tests zijn erg makkelijk te implementeren. De resultaten zijn erg makkelijk af te lezen. Het punt is echter wel dat je maar één variabele tegelijk kan aanpassen. Als je meerdere variabelen tegen elkaar wilt testen, zul je met A/B testen heel snel veel tijd kwijt zijn.

Wat is multivariaat testen?

Bij multivariaat testen kun je meerdere variabelen tegelijk in één keer veranderen. Als je bijvoorbeeld een Google Adsense banner op je site hebt, kun je zowel de kleur als de positie als het soort banner aanpassen. Je krijgt dan al snel meerdere mogelijkheden zoals te zien in de tabel hieronder:

Met drie kleuren, twee posities en twee soorten banners heb je dus al 3 x 2 x 2 = 12 mogelijkheden. Zeker voor grotere usability testen zul je begrijpen dat het aantal mogelijkheden al snel flink omhoog gaat. Ook zal het duidelijk zijn dat je voor elke configurati een redelijk aantal bezoekers nodig hebt die de mogelijkheid hebben om conversie te bereiken binnen die configuratie. Oftewel, hoe meer verschillen configuratiemogelijkheden, hoe meer bezoekers je nodig hebt om de test uit te voeren.

Indien je doel gedefinieerd is als het verhogen van je CTR, kun je bezoekers die op de banner klikken zien als een bezoeker die een stem uitbrengt op de configuratie (kleur, positie en soort banner) waar hij mee geconfronteerd wordt. In het voorbeeld dat we zojuist gaven, zouden dit bijvoorbeeld de conversiepercentages kunnen zijn.

Aan de hand van deze tabel zie je dat optie 10 (Rood, Links, Plaatje) de hoogste conversie oplevert. Als je bijvoorbeeld eerst conversie 1 gebruikte, zul je een stijging van 53% in je CTR hebben als je vanaf nu optie 10 gebruikt. Dit lijkt mij de moeite waard!

Voor- en nadelen multivariate testing

Het voordeel van deze methode boven A/B testen is uiteraard dat je meerdere variabelen in één keer kan wijzigen. Nadeel is echter dat je redelijk wat traffic op je site nodig hebt om al deze configuraties voldoende te laten voorkomen. Een goede vuistregel is dat je per configuratie minimaal 10 keer een conversie moet zien voor je de test betrouwbaar kunt noemen.