Onlangs is een stagiair bij Onetomarket gestart met het onderzoeken van metateksten. Het doel van dit onderzoek is om te kijken welk soort titles en descriptions mensen het meest aanspreken in de reisbranche. Met andere woorden: welke type titles en descriptions zorgen voor een hoge Click Through Rate en welke niet.
Voor deze test wordt Google Website Optimizer gebruikt, wat zeer bijzonder is. Google Website Optimizer is een tool om webpagina’s te optimaliseren. Tijdens een experiment zien bezoekers de oorspronkelijke combinatie of één van de nieuwe combinaties. Aan de hand van impressies en conversies kan het succespercentage van een variant worden bepaald.
Echter, bij deze test wordt de bezoeker gevraagd om een keuze te maken tussen de verschillende combinaties, bestaande uit titles en descriptions. Dit betekent dat er elke keer een ‘winnende combinatie’ en een ‘verliezende combinatie’ uit de test komt die beide geregistreerd moeten worden. Omdat Google Website Optimizer slechts de gegevens van één combinatie tegelijkertijd kan registreren (winnaar of verliezer) was een oplossing noodzakelijk.
Deze oplossing is gevonden door vast te stellen dat het eerst getoonde zoekresultaat altijd als winnaar of verliezer wordt geregistreerd via Google Website Optimizer. Het tweede zoekresultaat bestaat uit combinaties die via een PHP script random worden weergegeven en niet worden geregistreerd.
Deze testopzet is uniek en een totaal nieuwe insteek met zeer veel kansen voor search.
Voor dit onderzoek zijn 8 verschillende titles en descriptions geschreven die betrekking hebben op het boeken van vliegtickets. In dit onderzoek worden drie variabelen getest die veel invloed kunnen uitoefenen op de Click Trough Rate, namelijk
Om te testen welke invloed deze variabelen hebben op de Click Through Rate is Google Website Optimizer gebruikt om mee te testen.
Bij het opzetten van deze Multivariate test moeten altijd paginasecties worden gedefinieerd. Deze secties geven aan welke elementen getest gaan worden. In deze test zijn 2 paginasecties gedefinieerd, namelijk de title en de description. Nu is het zaak om per paginasectie verschillende varianten aan te maken. In dit geval worden er drie variabelen getest, dit levert 8 varianten per paginasectie op:
Wel/geen CTA * Lange/korte tekst * Wel/geen branding = 8 varianten
2 * 2 * 2 = 8 varianten.
Zowel de title als de description heeft 8 verschillende varianten. Google Website Optimizer maakt van deze varianten per paginasectie verschillende combinaties. Elke variant wordt gecombineerd met een andere variant. In dit onderzoek levert dit 64 combinaties op.
8 * 8 = 64 combinaties
Om deze 64 combinaties tegen elkaar af te zetten is er een testomgeving gebouwd waarbij een SERP van Google is nagebootst.
Zoals in de inleiding al is aangegeven is Google Website Optimizer niet geschikt om bezoekers te laten kiezen tussen verschillende combinaties.
Om dit probleem op te lossen wordt het eerste zoekresultaat weergegeven met behulp van Google Website Optimizer en het tweede zoekresultaat bestaat uit dezelfde 8 titles en descriptions die via een PHP script random weergegeven worden op de testpagina. Op deze manier worden alle 64 combinaties tegen elkaar afgezet en wordt slechts van één zoekresultaat het aantal impressies en conversies gemeten in Google Website Optimizer.
Aangezien er een groot aantal combinaties worden getest is het noodzakelijk om veel verkeer te genereren bij deze test. Daarom is ervoor gezorgd dat één persoon meerdere malen te test kan uitvoeren. Om telkens unieke zoekresultaten te genereren worden voor elke uitgevoerde test de cookies verwijderd van de daarvoor uitgevoerde test.
Probeer je voor te stellen dat je vliegtickets naar Rome wilt boeken. Je bent dus al in een redelijk vergevorderd stadium in aankoopbeslissingsproces. Op de testpagina kom je een SERP van Google tegen met 2 zoekresultaten. Tot welk zoekresultaat voel je je het meest aangetrokken. Kies voor dit zoekresultaat door erop te klikken. Daarna kom je op een bedankt pagina. Na 3 seconden wordt je opnieuw geridirect naar de test. Doordat elke keer nieuwe zoekresultaten worden getoond kan een persoon meerdere malen de test uitvoeren.
Naar de test:
www.netpromotie.nl/luc
Wordt de positie van het zoekresultaat nu niet als variabele over het hoofd gezien?
We kijken nu naar de communicatiestijlen, ceterus paribus. Uiteraard is de positie waarschijnlijk veel belangrijker dan de communicatiestijl maar over het verbeteren van de positie heeft de halve wereld al een boek geschreven :)
Klopt dat er al gigantisch veel onderzoek naar positie is gedaan maar mijn inziens wil dat niet zeggen dat onderzoek naar communicatiestijl icm. positie niet interessant is.
Wat ik niet snap is waarom je het niet in een normale omgeving test, dat wil zeggen 10 resultaten waarvan je er één test. Volgens mij maakt dat het veel makkelijker om de norm te bepalen en plaatst N ook in een natuurlijkere omgeving.
Qua resultaat kun je dan ook gewoon CTR als succesfactor gebruiken.
Zelf heb ik de test heel anders gedaan, ik heb bij 500 zoekopdrachten de resultaten getagged met eigenschappen (informatief, actiegericht, met prijs, korte URL/lange URL enzovoort).
Over alle queries kun je de norm qua CTR/positie berekenen en individueel de afwijking aan eigenschappen toekennen.
Nou is 500 queries nog niet echt veel en de testomgeving eigenlijk altijd te kunstmatig. Eigenlijk zou je dit soort trucs in een toolbar moeten kunnen verwerken die voor de testgroep realtime zoekresultaten vervangt. Dan ben je pas echt cool bezig :-)
Leuk onderzoekje!
Maar ik denk dat je resultaten helaas niet bruikbaar zijn.
De keuzes die mensen maken hangt namelijk compleet samen met hun ‘zoekgedrag’. In jouw onderzoek wordt er niet daadwerkelijk ‘gezocht’. Ik ben niet opzoek naar een vakantie in Italië. Mijn klik op jouw testsite komt niet voort uit mijn zoekgedrag, maar uit een willekeurige voorkeur voor een link.
Natuurlijk is de toolbar oplossing van Ulco onmogelijk, maar een aangepaste testsituatie zou al uitkomst bieden.
Als je een situatie creëert waarin je een proefpersoon de opdracht geeft om een vakantie te zoeken onder de 500 euro naar Italië, waarbij deze denkt de normale serps te zien, dan is je ‘labexperiment’ al van grote waarde om te vertalen naar de realiteit.
iets voor een volgende stagiair?