splittest-af-e-maerket.png

Splittest af e-mærket

E-mærket har været meget diskuteret, og jeg har tidligere set folk lave nogle splittest på e-mærket, med meget varierende resultater – så da vores kunde spurgte, om de skulle abonnere på e-mærket, var der ikke andet for, end at sætte en splittest op.

Webshoppen har et meget bredt sortiment af produkter (3000+ produkter) og målgruppen er primært kvinder.

Placering af e-mærket

Vi placerede e-mærket øverst i højre kolonne – lige over indkøbskurven, så den var meget synlig. Mærket blev også placeret på alle sider i tjek-ud processen. Så den var ikke til at tage fejl af, når man surfede rundt og skulle købe.

Opsætning af splittest af e-mærket

Vi lavede en rimelig simpel splittest. Halvdelen der kom ind på websitet – uanset landing page – så e-mærket. Den anden halvdel så ikke e-mærket.

Vi havde ingen andre splittest kørende i samme periode.

Testen

Selve testen kørte fra d. 3. januar til d. 17. januar.

Splittest af e-mærket

Splittest af e-mærket (klik for stort billede)

Splittesten viste meget anderledes resultater de første par dage, end afslutningen. Det er meget normalt de første par dage, at en splittest giver vilde resultater – så ingen grund til bekymringer der.

Den blå streg er “uden e-mærket” og den orange er “med e-mærket synlig”.

Du kan se på grafen, at “med e-mærket” ret hurtigt endte med at føre, og lå i en del dage som en rimelig klar vinder. Det endte dog med, ikke at være en ret stor forbedring i sidste ende. Vi sluttede testen efter 14 dage, selvom der ikke blev udråbt en klar vinder.

Konklusion på splittesten

Konverteringsraten var over splittestens forløb på 0,17% højere med e-mærket – en forbedring på 5,44%. Ikke noget at råbe vildt hurra for – men ikke desto mindre en forbedring – og en der over et år faktisk løber i væsentlig andel for vores kunde.

Derfor har vi valgt at bibeholde e-mærket – også udfra den observation, at den igennem hele forløbet har lagt over “uden e-mærket”.

Brian Brandt

Brian Brandt er nørden med den brede viden indenfor online markedsføring og ehandel. Kontakt ham allerede i dag og få lagt din online marketing strategi eller startet / optimeret din webshop. Mail: brian@clickstarter.dk Mobi: +45 27 11 28 48

6 comments

Martin LeBlanc Eigtved - 19/01/2012 Reply

Fin test. Jeg vil dog til en hver tid foretrække at køre testen indtil der er fundet en statistisk signifikant forskel.

Michael Lykke Aagaard - 19/01/2012 Reply

Hej Brian – interessant test.

Men jeg ville passe rigtig meget på med at konkludere en test ud fra et statistisk validitetsniveau på 68,9% – selvom der er tæt på 200 konverteringer. Jeg ville helt klart lade den køre til den mindst rammer 98%. Især når den absolutte forskel kun er på 0,17 procentpoint.

Det er slet ikke for at være på tværs, jeg nævner det udelukkende for, at I ikke skal ende med træffe beslutninger ud fra et misvisende datagrundlag, der i sidste ende kan gøre mere skade end gavn.

– Michael

Brian Brandt - 19/01/2012 Reply

Spørgsmålet er hvor længe vi skulle køre den test før der kom nogen signifikant forskel – GWO mente selv omkring 1000 dage i deres beregner. Jeg tror ikke den var lige om hjørnet.
Og nu var der mere end 10.000 besøgende, med over 300 konverteringer – og det synes jeg nu alligevel er en god slat.

Michael Lykke Aagaard - 19/01/2012 Reply

Yes – det er helt klart en god slat, det er der ingen tvivl om! Men der er stadig 31,1% sandsynlighed for, at resultatet bliver et helt andet. Det betyder, at der skal en større stikprøve til. Derfor er det farligt, at tage det som et retvisende resultat. Det kunne ende med at vise sig, at behandling A klarer sig dårligere end kontrollen.

Det er svært at sige, hvor længe den skal køre, det afhænger helt af, hvor dramatisk forskellen på de to versioner er. Måske viser det sig, at der aldrig kommer et validt resultat – i den situation skal man så vælge, om det er værd at fortsætte testen. Men jeg ville som udgangspunkt lade testen køre i mindst en måned endnu og følge udviklingen for at se, om der er en stabil tendens, eller om der er store udsving undervejs, hvor de to varianter krydser hinanden.

– Michael

Jacob Kildebogaard - 27/01/2012 Reply

Var testen integreret med Google Analytics så der kan analyseres dybere? For så vil det jo være utrolig interessant at se resultaterne på de forskellige målgrupper – fx nye vs tilbagevendende besøgende. Eller resultatet fordelt på organisk, direkte trafik, og PPC.

Clickstarter - 07/05/2012 Reply

Nej – det var desværre ikk integreret.

Add your comment

Related Posts