A/B testing bij Wielrennerij.nl

Door Erik-Jan op 4 juli 2007

Trefwoorden: .

Aangezien Wielrennerij.nl zo vlak voor de Tour een stuk drukker is geworden, is het de moeite waard de conversie van de Adsense banner te optimaliseren. Hoewel de CPC flink laag is, is Wielrennerij.nl sowieso een leuke manier om eens wat zaken te testen. Aangezien de bezoekersaantallen momenteel best hoog zijn (gisteren 1.300 uniek volgens Analytics), is de test behoorlijk snel uit te voeren. Deze test voer ik uit a.d.h.v. een A/B test.

Optie 1

De oude banner viel zo min mogelijk op en had precies de kleuren van de site:

wielrennerij adsense normaal A/B testing bij Wielrennerij.nl

Optie 2

Aangezien de hele site een vrij neutrale uitstraling heeft en qua design best groot is, leuk het mij de moeite waard om eens te kijken wat de CTR zou doen als ik de banner meer opvallend zou weergeven. De wijzigingen waren relatief klein, maar toch groot genoeg om opgemerkt te worden. De titel van de advertenties werd donkerrood gemaakt en om de advertenties kwam een donkere border:

wielrennerij adsense opvallend A/B testing bij Wielrennerij.nl

Resultaten

Beide banners heb ik random naast elkaar gedraaid. Bezoekers wisten dus niet dat ze met hun klik als het ware mee deden aan een test. Ik heb deze test een poosje online gezet, totdat beide opties in ieder geval 12 kliks hadden. Dat leek me voldoende om iets zinvols over de CTR te zeggen.

De uitkomst is te zien in de screenshot hieronder. Duidelijk is dat optie 2 een hogere CTR heeft. Nu lijkt het verschil van 0,13 procentpunt niet zo groot, maar procentueel gezien is het een stijging van 20%. Tijdens de Tour is dit toch al snel een verschil van enkele tientallen €’s.

wielrennerij adsense resultaten A/B testing bij Wielrennerij.nl

Multivariate testing

Trouwens, voor meer informatie over A/B en multivariate testing, kun je eens kijken naar het artikel wat ik daarover geschreven heb.


Je kunt een reactie, achterlaten of een trackback van uw eigen site.

8 Reacties op “A/B testing bij Wielrennerij.nl”

  1. 4 juli 2007 om 21:12
    Wouter

    Ik vind toch niet da je kan spreken van een representatieve test als er gemeten wordt over 29 kliks.

    Reageer
  2. 4 juli 2007 om 21:19
    Erik-Jan

    Eens en niet eens. Richting een klant zou ik 29 kliks niet snel verkopen. Aan de andere kant bevestigen de resultaten wel mijn vermoedens en daarom durf ik ze wel hard te maken. Sterker nog, inmiddels zijn het 39 kliks en is het relatieve verschil 22%, oftewel nog ongeveer gelijk.

    Weet je, met 29 kliks kun je niet exact zeggen dat die 20% exact klopt. Wel durf ik na 29 kliks en een verschil van 20% hard te maken dát er een positief verschil is. Weliswaar moet je dan die 20% met een ruime foutmarge nemen, maar nog steeds zeggen die getallen wel wat.

    Bij hoeveel kliks zou jij die 20% verschil hard durven te noemen? Uiteraard valt dat statistisch wel te berekenen, mar dat gaat wat ver op een site als deze ;-)

    Reageer
  3. 4 juli 2007 om 21:45
    Ulco

    29 kliks vind ik ook wat karig, dan zit ik toch eerder aan +/- 250 kliks per kanaal en een volle week te denken.

    Anyway, ik kan me in dit geval wel in het resultaat vinden. Bij sites waar bezoekers daadwerkelijk voor de content komen vind ik ook dat blending juist niet werkt. Bij mfa-sites juist weer wel.

    Reageer
  4. 4 juli 2007 om 22:31
    RobbieRedskin

    Volgens mij gaat het niet om de kliks, maar om het aantal pageviews… Dit aantal ligt met >2000 redelijk hoog, en maakt het mogelijk om zinnige uitspraken te doen over het A/B resultaat.
    Wel ben ik het met Ulco eens dat het beter is om over langere tijd te testen, bijvoorbeeld een week.

    Reageer
  5. 5 juli 2007 om 00:50
    Zolar

    Als je die blog hebt opgezet voor de poet, moet je misschien eens een andere indeling bedenken. De advetentie is nu (in welke kleur dan ook) zo opvallend aanwezig, dat het mensen weerhoud erop te klikken.

    Een CTR met Adsense van minder dan 1% is wel heel erg laag. Ik denk ook dat een wat langere test wat representatiever is. Je zou ook eens met echt opvallende kleuren kunnen testen en met bijv. de nieuwe ronde hoekjes.

    Reageer
  6. 5 juli 2007 om 16:47
    André Scholten

    Is het niet zo dat dit per website kan verschillen omdat er honderden ander factoren (doelgroep, kleuren, inhoud, enz) meespelen? Er is volgens mij helemaal geen gouden regel, en kan deze test op een andere site hele andere getallen opleveren.

    Reageer
  7. 5 juli 2007 om 20:37
    Buitenmens

    Ik vind de plaatsing op deze manier maar matig, dit weerhoudt mensen van klikken op de ads, ze irriteren mij zelfs. Als je nu gewoon eens een full banner direct onder een artikel zet, desnoods in net zo’n lichtgrijs blok als je ‘quote stijl’?

    Ik heb trouwens ontdekt dat als je al je artikelen ‘splitst’ en de Adsense alleen na ‘meer lezen’ zet dat de CTR vaak hoger wordt. Verder ben je je bezoekers dan niet alleen al direct vanaf de homepage ‘kwijt’ maar hebben ze je site langer bezocht, waarmee je óf de kans vergroot dat ze terugkeren, of je CTR vergroot, of beide…

    Maak het ‘meer lezen’ trouwens eens wat opvallender.

    Reageer
  8. 10 juli 2007 om 19:40
    RobbieRedskin

    Voor degenen die zich afvragen hoe je zo’n A/B test nu verwerkt in je site: http://adsense-nl.blogspot.com/2006/08/rouleer-en-probeer.html

    Reageer

Reageer!