Tulosten lukeminen

Jokainen testi päättyy voittajaan, häviäjään tai epäselvään tulokseen. Kaikki kolme ovat arvokkaita.

Voittaja kertoo, mitä kannattaa viedä tuotantoon. Häviäjä kertoo, mitä kannattaa välttää. Epäselvä tulos kertoo, että vaikutus, jos sitä oli, oli liikenteeseenne nähden liian pieni havaittavaksi.

Muuttumaton tulos ei tarkoita, että testi olisi mennyt hukkaan. Se sulkee yhden hypoteesin pois ja säästää teidät sellaisen muutoksen julkaisemiselta, joka ei tee mitään.

Käsitelkää epäselviä testejä todisteina. Muutos oli ehkä liian hienovarainen, liikennettä oli liian vähän tai näkemyksenne oli väärä. Jokainen tulos opettaa, mistä kannattaa etsiä seuraavaksi.

Ennen voittajan viemistä tuotantoon varmistakaa, etteivät suojamittarit ole kehittyneet väärään suuntaan. Rekisteröitymisten kasvu merkitsee vähän, jos hyvitykset tai asiakaspoistuma kasvoivat voimakkaasti.

Oikea voitto parantaa ensisijaista mittaria vahingoittamatta liiketoiminnan muiden osa-alueiden tilaa.

Kokonaisuutena muuttumaton tulos voi kätkeä vastakkaisia vaikutuksia eri segmenteissä. Versio voi voittaa mobiilissa mutta hävitä työpöytälaitteilla, jolloin kokonaisvaikutus on nolla.

Jakakaa tulokset laitteen, liikenteen lähteen tai uusien ja palaavien käyttäjien mukaan, mutta käsitelkää segmenttihavainnot uusina hypoteeseina, ei vahvistettuina voittoina.

Datan jakaminen moniin segmentteihin moninkertaistaa mahdollisuutenne löytää jostakin näennäinen voittaja. Jos testaatte riittävän monia alaryhmiä, yksi niistä näyttää sattumalta merkitsevältä.

Jos jokin segmentti vaikuttaa lupaavalta, vahvistakaa havainto uudella, erikseen suunnitellulla testillä ennen kuin toimitte sen perusteella. Älkää koskaan viekö muutosta tuotantoon pelkän jälkikäteen tehdyn segmentoinnin perusteella.

Muutakaa prosentuaalinen nousu liiketoiminnan luvuiksi. 17 prosentin suhteellinen nousu kuulostaa hyvältä, mutta sidosryhmiä kiinnostaa liikevaihto.

Kertokaa uusi konversioaste liikenteen määrällä ja keskimääräisellä arvolla arvioidaksenne vuosivaikutuksen. Tämä luku ohjaa päätöstä tuotantoon viennistä ja etenemissuunnitelmaanne.

Kirjatkaa hypoteesi, tulos, luottamus, vaikutuksen koko ja päätös yhteiseen lokiin. Aiemmat testit muodostavat tietopohjan, joka estää umpikujiin palaamisen.

Jakakaa tiimin kanssa sekä voitot että tappiot, jotta opit kumuloituvat koko kokeiluohjelmassa.

Testissä voittaminen ei takaa saman nousun toteutumista tuotannossa. Kun olette julkaisseet muutoksen sadalle prosentille käyttäjistä, seuratkaa mittaria muutaman viikon ajan.

Uutuusvaikutukset, kausivaihtelu ja toteutusvirheet voivat heikentää tulosta. Varmistakaa voiton säilyminen ennen kuin laskette ennustetun liikevaihdon varaan.

Optimointi on jatkuva kierros, ei yksittäinen toimenpide. Jokaisen tuloksen, voiton tai tappion, pitäisi synnyttää seuraava hypoteesi.

Voittava riskinpoistomerkki voi antaa aiheen testata vahvempaa takuuta. Hävinnyt asettelu ohjaa teitä toiseen suuntaan. Jatkuva kokeilu kasvattaa pienet hyödyt suuriksi ajan mittaan.

Arvioikaa testejä ennakkoon rekisteröidyn ensisijaisen mittarin perusteella ja tarkistakaa suojamittarit ennen tuotantoon vientiä. Epäselvät tuloksetkin tarjoavat oppeja.

Jaotelkaa tuloksia huolellisesti ilman segmenttien kalastelua, muuttakaa nousut liiketoimintavaikutuksiksi, dokumentoikaa jokainen testi, varmistakaa voitot tuotannossa ja hyödyntäkää jokainen tulos seuraavassa kokeessa.