A/B-testing i praksis: Slik får du et pålitelig resultat

En A/B-test er den eneste måten å vite med sikkerhet om en endring på nettsiden faktisk øker konverteringer, eller om resultatet bare skyldes tilfeldige svingninger i trafikken. For at testen skal gi et pålitelig resultat, må du beregne nødvendig stikkprøvestørrelse før du starter, kjøre testen gjennom minst én full forretningssyklus, og aldri stoppe den før statistisk signifikans er nådd - uansett hvor fristende et tidlig resultat ser ut.

Hva er en A/B-test?

En A/B-test, også kalt splittest, er et eksperiment der du viser to versjoner av samme side eller element til tilfeldig fordelte besøkende, for å måle hvilken versjon som presterer best på et konkret mål - typisk konverteringsrate, men også klikk, påmeldinger eller gjennomsnittlig ordreverdi. Denne artikkelen går i dybden på hvordan du praktisk gjennomfører en test som faktisk holder vann statistisk, uavhengig av om trafikken kommer fra betalt annonsering, organisk søk eller direkte trafikk.

Metoden brukes i dag i stort omfang innen konverteringsoptimalisering for å unngå at beslutninger om design, tekst og brukerflyt bygger på magefølelse i stedet for data.

Hvordan gjennomfører du en A/B-test i praksis?

En pålitelig test følger fire faste steg, uavhengig av om du tester en knappefarge eller hele kassen i en nettbutikk.

1. Formuler en konkret hypotese

Start med en hypotese som sier noe om hvorfor en endring bør fungere, ikke bare hva du endrer. «Vi tror at en kortere utfyllingsprosess i kassen reduserer frafall fordi brukerne opplever færre felt som friksjon» er en hypotese du faktisk kan lære noe av, uavhengig av om testen vinner eller taper. En tilfeldig endring uten hypotese gir deg data, men ingen innsikt du kan bygge videre på.

2. Beregn stikkprøvestørrelse og varighet før du starter

Den vanligste feilen i A/B-testing er å starte testen uten å vite hvor mange besøkende som trengs for å oppnå statistisk signifikans. Bruk en kalkulator for stikkprøvestørrelse basert på nåværende konverteringsrate, minste forskjell du vil kunne oppdage, og ønsket signifikansnivå - normalt 95 %. Har siden lav trafikk, kan en pålitelig test fort kreve flere måneder. Har du for få besøkende, er konklusjonen i praksis støy, uansett hvor overbevisende tallene ser ut etter to uker.

3. Kjør testen gjennom en hel forretningssyklus, uten å stoppe den tidlig

Stopp aldri en test bare fordi variant B leder etter tre dager. Trafikk og kjøpsmønster varierer mellom ukedager, lønningsdag og helg, og en test som ikke kjører gjennom minst én hel syklus - normalt 1-2 uker, lenger for B2B med lang beslutningstid - risikerer å fange opp et tilfeldig utslag i stedet for en reell forskjell. Dette kalles «peeking», og er den vanligste årsaken til at team feirer en seier som forsvinner når testen etterprøves.

Hvor lenge bør en A/B-test kjøre?

Det finnes ikke et universelt svar, men en tommelfingerregel er at testen bør kjøre til nødvendig stikkprøvestørrelse er nådd for begge varianter, og minst gjennom én full kjøpssyklus for bransjen din. For en nettbutikk med kort beslutningstid kan det være 1-2 uker; for en B2B-bedrift med lengre salgsprosess kan det kreve 4-6 uker eller mer. Lav trafikk er den vanligste grunnen til at tester aldri når signifikans - da er det ofte mer lønnsomt å teste større, mer radikale endringer enn små detaljer, fordi de gir en tydeligere effekt å måle.

Hvilke feil gir falske resultater i en A/B-test?

De samme feilene dukker opp gang på gang når vi gjennomgår tester kunder har kjørt selv - vi har samlet de vi ser oftest i 10 CRO-feil vi ser på norske nettsteder. De tre som skader en A/B-test mest, er: å stoppe testen før signifikans er nådd, å teste under en periode med unormal trafikk som kampanjer eller ferier, og å teste for mange elementer samtidig slik at du ikke vet hva som faktisk drev resultatet.

Konverteringsrate er sluttmålet, men underveis bør du følge med på sekundærmål som avbruddsrate per steg i kassen og gjennomsnittlig ordreverdi. En enklere kasse kan øke konverteringer, men samtidig senke gjennomsnittlig ordreverdi hvis et mersalgstrinn forsvinner i prosessen - en vinnende test på ett mål kan være et tap på et annet, og det bør du vite før du ruller endringen ut til alle.

Hva kan en A/B-test avdekke? (illustrativt eksempel)

Illustrativt eksempel, ikke reelle kundetall: En nettbutikk testet en forenklet kasseløsning med tre felt mot den eksisterende løsningen med syv felt. Etter tre uker og tilstrekkelig stikkprøvestørrelse viste testen en økning i fullførte kjøp på 18 %, med 95 % statistisk signifikans. Uten testen hadde endringen vært en gjetning; med testen var den en dokumentert forbedring teamet kunne bygge videre på. Dette er typen resultat en god test skal gi - ikke bare en følelse av at det ble bedre, men et tall man kan stå bak.

Bør du A/B-teste alt, eller holder det med magefølelse?

Ikke alle endringer trenger en test. Åpenbare brukervennlighetsfeil - en knapp som ikke virker, en skjemafeil som blokkerer innsending - bør du bare fikse. A/B-testing gir mest verdi når du er usikker på om en endring faktisk virker, og konsekvensen av å ta feil er stor nok til at det er verdt tiden det tar å måle den riktig. Har siden lav trafikk, er det ofte smartere å bruke tiden på grundigere konverteringsoptimalisering og kvalitative metoder, som brukertester og opptak av sesjoner, enn å vente måneder på en test som aldri når signifikans.

En A/B-test er aldri bedre enn disiplinen du tester med. Riktig utført gir den deg et konkret, etterprøvbart svar på om en endring faktisk øker konverteringer - og det er forskjellen mellom å gjette og å vite. Lurer du på om konverteringsraten din allerede er god, eller om det er rom for en test som faktisk flytter tallene, kan du se våre bransjebenchmarks for konverteringsrate som utgangspunkt.