A/B testavimas su praktiniais pavyzdžiais

Sužinokite apie A/B testavimą, konversijų analizę ir prioritetų nustatymą bei testų analizę ir archyvų valdymą iš „Google“, „HubSpot“ ir „Shopify“ ekspertų.

Nesvarbu, ar esate patyręs verslininkas, ar tik pradedate, tikėtina, kad jau matėte daugybę straipsnių ir išteklių apie A/B testavimą. Galbūt jau testuojate el. laiškų temas ar socialinių tinklų įrašus.

Nors apie A/B testavimą rinkodaros srityje jau daug papasakota, praktikoje daugelis verslininkų suklumpa. Ką tai lemia? Svarbūs verslo sprendimai grindžiami netiksliais netinkamo testo rezultatais.

A/B testavimas dažnai supaprastinamas, ypač turinyje, skirtame parduotuvių savininkams. Toliau rasite viską, ko reikia norint pradėti naudoti įvairius A/B testavimo tipus el. prekybai – aiškiai, bet naudingai. A/B testavimas gali keisti žaidimo taisykles renkantis tinkamą produkto pozicionavimą, didinant nukreipimo puslapio konversijas ir kt.

Kas yra A/B testavimas?

A/B testavimas, dar vadinamas skaidymo testavimu, yra dviejų to paties tinklalapio, el. laiško ar kito skaitmeninio turinio versijų palyginimo procesas, siekiant nustatyti, kuri iš jų veikia geriau pagal naudotojų elgesį.

Tai naudingas įrankis rinkodaros kampanijos veiksmingumui gerinti ir norint geriau suprasti, kas geriau veikia jūsų tikslinę auditoriją. A/B testavimas leidžia atsakyti į svarbius verslo klausimus, padeda gauti daugiau pajamų iš jau turimo srauto ir sudaro pagrindą duomenimis grįstai rinkodaros strategijai.

Kaip veikia A/B testavimas

• Nustatykite tikslą. Apibrėžkite A/B testo tikslus, pavyzdžiui, konversijų didinimą, paspaudimų dažnį ar bendrą pardavimų augimą.
• Pasirinkite testuojamą elementą. Galite testuoti antraštes, vaizdus, el. laiškų temas, raginimus veikti (CTA), kainodarą, maketus ir kt.
• Sukurkite variantus. Sukurkite du elemento variantus: A versija – tai originali arba „kontrolinė“ jūsų turinio elemento versija. B versija – nauja versija su pakeitimais, kuriuos norite testuoti, vadinama „variantu“. Rinkodaros kontekste 50 proc. lankytojų parodote A versiją ir 50 proc. – B versiją.
• Vykdykite testą. Abiems grupėms nustatytu laikotarpiu rodykite tik vieną versiją. Pavyzdžiui, jei testuojate el. prekybos svetainės pagrindinio puslapio CTA mygtuką, galite vykdyti testus dvi savaites, kad gautumėte statistiškai reikšmingus rezultatus.
• Rinkite duomenis. Stebėkite ir matuokite konversijas, paspaudimus, įsitraukimo lygius ir pardavimus abiejose grupėse.
• Analizuokite rezultatus. Palyginkite A ir B versijų veiksmingumą, kad nustatytumėte, kuri efektyviau pasiekia jūsų tikslą. Laimi versija su aukščiausiu konversijų dažniu.
• Paskelbkite nugalėtoją. Jei B versija pademonstravo aukštesnį konversijų dažnį, paskelbkite ją nugalėtoja ir naudokite ją 100 proc. lankytojų. Tai tampa nauja kontroline versija, o būsimiems testams turite sukurti kitą variantą.

💡Pastaba: A/B testo konversijų dažnis ne visada yra pats geriausias sėkmės matas.

Pavyzdžiui, jei viename puslapyje prekę įkainojate 50 eurų, o kitame ji visiškai nemokama, tai neduos tikrai vertingų įžvalgų. Kaip ir bet kuris įrankis ar strategija, kurią naudojate verslui, versijos turi būti rengiamos strategiškai.

Taigi konversijos reikšmę turėtumėte sekti iki galutinio pardavimo.

Kada reikėtų naudoti A/B testavimą

Jei valdote mažo srauto svetainę ar žiniatinklio ar mobiliąją programėlę, A/B testavimas tikriausiai nėra geriausias optimizavimo sprendimas. Didesnę investicijų grąžą (ROI) greičiausiai pamatysite atlikdami naudotojų testavimą ar kalbėdamiesi su klientais. Priešingai nei manoma, konversijų dažnio optimizavimas neprasideda ir nesibaigia testavimu.

Kodėl dvi–keturios savaitės? Atminkite, kad norite vykdyti testus bent du pilnus verslo ciklus. Paprastai tai trunka dvi–keturias savaites. Galbūt galvojate: „Gerai, vykdysiu testą ilgiau nei dvi–keturias savaites, kad pasiekčiau reikiamą imties dydį.“ Tai taip pat neveiks.

Kuo ilgiau vykdomas testas, tuo labiau jis paveikiamas išorinių validumo grėsmių ir imties užterštumo. Pavyzdžiui, lankytojai gali ištrinti slapukus ir vėl patekti į A/B testą kaip nauji lankytojai. Arba kas nors gali pereiti nuo mobiliojo telefono prie kompiuterio ir pamatyti alternatyvų variantą.

Iš esmės, per ilgas testo vykdymas gali iškreipti rezultatus taip pat, kaip ir per trumpas.

Testavimą verta atlikti parduotuvėms, kurios gali pasiekti reikiamą imties dydį per dvi–keturias savaites. Parduotuvėms, kurioms tai nepasiekiama, vertėtų apsvarstyti kitas optimizavimo formas, kol padidės jų srautas.

Nustatykite A/B testavimo procesą

 A/B testavimo prioritetų nustatymas

Ilgas A/B testavimo pavyzdžių sąrašas džiugina, nors nepadeda nuspręsti, ką testuoti. Nuo ko pradėti? Čia ir praverčia prioritetų nustatymas.

Yra keletas įprastų A/B testavimo prioritetų nustatymo sistemų:

• ICE. ICE reiškia poveikį, pasitikėjimą ir lengvumą. Kiekvienas iš šių veiksnių gauna 1–10 balų įvertinimą. Pavyzdžiui, jei galėtumėte lengvai atlikti testą patys be programuotojo ar dizainerio pagalbos, lengvumui galite duoti 8 balus. Čia remiatės savo sprendimu, o jei testus vykdo daugiau nei vienas asmuo, vertinimai gali tapti per daug subjektyvūs. Visiems išlikti objektyviems padeda gairių rinkinys.
• PIE. PIE reiškia potencialą, svarbą ir lengvumą. Vėlgi, kiekvienas veiksnys gauna 1–10 balų įvertinimą. Pavyzdžiui, jei testas pasieks 90 proc. jūsų srauto, svarbai galite duoti 8 balus. PIE yra toks pat subjektyvus kaip ICE, todėl ir šiai sistemai naudinga turėti gaires.
• PXL. PXL yra švietimo platformos CXL prioritetų nustatymo sistema. Ji šiek tiek skiriasi ir yra labiau pritaikoma, verčia priimti objektyvesnius sprendimus. Vietoj trijų veiksnių rasite taip/ne klausimus ir klausimą apie įgyvendinimo paprastumą. Pavyzdžiui, sistema gali klausti: „Ar testas skirtas motyvacijai didinti?“ Jei taip, skiriamas 1 balas. Jei ne – 0. Daugiau apie šią sistemą sužinosite ir atsisiuntę skaičiuoklę.

Kai suprasite, nuo ko pradėti, pravartu suskirstyti idėjas į kategorijas. Pavyzdžiui, konversijų tyrimų metu galite naudoti tris kategorijas: įgyvendinti, ištirti ir testuoti.

• Įgyvendinti. Tiesiog darykite. Kažkas neveikia arba yra akivaizdu.
• Ištirti. Reikia papildomo vertinimo, kad apibrėžtumėte problemą ar sukonkretintumėte sprendimą.
• Testuoti. Idėja pagrįsta ir paremta duomenimis. Testuokite!

Kažkur tarp kategorizavimo ir prioritetų nustatymo būsite pasirengę pradėti A/B testavimą.

Hipotezės kūrimas

Prieš testuodami bet ką, turite turėti hipotezę. Pavyzdžiui: „Jei sumažinsiu pristatymo mokestį, konversijų dažnis padidės.“

Nesijaudinkite – suformuluoti hipotezę šioje situacijoje nėra taip sudėtinga, kaip gali atrodyti. Iš esmės turite testuoti hipotezę, o ne idėją. Hipotezė yra išmatuojama, siekia išspręsti konkrečią konversijos problemą ir orientuojasi į įžvalgas, o ne pergales.

Rašant hipotezę galima naudoti formulę, pasiskolintą iš „Craig Sullivan“ hipotezių rinkinio:

• Kadangi matote [įterpkite duomenis / atsiliepimus iš tyrimų]
• Tikitės, kad [testuojamas pokytis] sukels [numatomas poveikis], ir
• Tai išmatuosite naudodami [duomenų metriką]

Paprasta, ar ne? Tereikia užpildyti tuščias vietas ir jūsų A/B testo idėja virsta hipoteze.

A/B testavimo įrankio pasirinkimas

Dabar galite pradėti rinktis A/B testavimo įrankį ar skaidymo testavimo paslaugą. Dažniausiai pirmiausia pagalvosite apie „Google Optimize“, „Optimizely“ ir „VWO“. Visi yra geri, saugūs pasirinkimai.

Štai daugiau informacijos apie populiariausius A/B testavimo įrankius:

• „Google Optimize“ – nemokamas, išskyrus kai kuriuos testavimo su keliais kintamaisiais apribojimus, kurie tikrai neturėtų būti jums aktualūs, jei tik pradedate. Gerai veikia atliekant „Google Analytics“ A/B testavimą – tai didelis privalumas.
• „Optimizely“ – lengva paleisti nedidelius testus net neturint techninių įgūdžių. „Stats Engine“ palengvina testų rezultatų analizę. Paprastai „Optimizely“ yra brangiausias iš trijų variantų.
• „VWO“ turi „SmartStats“ analizei palengvinti. Be to, turi puikų WYSIWYG redaktorių pradedantiesiems. Kiekvienas VWO planas pateikiamas su šilumos žemėlapiais, apklausomis, formų analitika ir kt.

Naudingų A/B testavimo įrankių yra ir „Shopify“ programėlių parduotuvėje.

Pasirinkę A/B testavimo įrankį ar skaidymo testavimo programą, užpildykite registracijos formą ir vadovaukitės pateiktomis instrukcijomis. Procesas skiriasi priklausomai nuo įrankio. Paprastai būsite paprašyti įdiegti kodo fragmentą svetainėje ir nustatyti tikslus.

Nuspręskite, kaip analizuosite rezultatus

Jei teisingai suformuluosite hipotezę, net pralaimėjimas yra pergalė, nes gausite įžvalgų, kurias galėsite naudoti būsimiems testams ir kitose verslo srityse. Todėl analizuodami testų rezultatus turite orientuotis į įžvalgas, o ne į tai, kas laimėjo, ar pralaimėjo. Visada yra ko išmokti, visada yra ką analizuoti. Neatmeskite pralaimėjusių variantų!

Svarbiausia čia pažymėti segmentavimą. Variantas gali būti pralaimėjęs, bet tikėtina, kad jis gerai veikė bent viename auditorijos segmente.

Štai keletas auditorijos segmentų pavyzdžių:

• Nauji lankytojai
• Grįžtantys lankytojai
• „iOS“ lankytojai
• „Android“ lankytojai
• „Chrome“ lankytojai
• „Safari“ lankytojai
• Kompiuterių naudotojai
• Planšečių naudotojai
• Organinės paieškos lankytojai
• Mokamos reklamos lankytojai
• Socialinių tinklų lankytojai
• Prisijungę pirkėjai

Esmę veikiausiai supratote.

Tikėtina, kad testo hipotezė pasitvirtino tam tikruose segmentuose. Tai taip pat suteikia tam tikros informacijos.

Analizė – tai daug daugiau nei tai, ar testas laimėjo, ar pralaimėjo. Segmentuokite duomenis, kad pastebėtumėte giliau paslėptas įžvalgas.

A/B testavimo programinė įranga šios analizės už jus neatliks, todėl tai svarbus įgūdis, kurį verta nuosekliai ugdyti.

Archyvuokite testų rezultatus

Tarkime, rytoj vykdysite pirmą testą. Ar po dviejų metų prisiminsite to testo detales? Vargu.

Todėl A/B testavimo rezultatų archyvavimas svarbus. Be gerai prižiūrimo archyvo visos gautos įžvalgos bus prarastos. Be to, jei nearchyvuojate, didelė tikimybė dukart testuoti tą patį.

Archyvuoti galima įvairiai. Galite naudoti tokį įrankį kaip „Effective Experiments“ arba paprastą skaičiuoklę. 

Kad ir kokį įrankį naudosite, fiksuokite:

• testuotą hipotezę,
• kontrolinės ir testuojamos versijos ekrano kopijas,
• kuri versija laimėjo ar pralaimėjo,
• analizės metu gautas įžvalgas.

Augant verslui padėkosite sau už šio archyvo vedimą. Jis padės ne tik jums, bet ir naujiems darbuotojams bei konsultantams ar kitiems suinteresuotiems asmenims.

A/B testavimo pavyzdžiai

Techninė analizė

Ar jūsų parduotuvė tinkamai ir greitai veikia visose naršyklėse? Visuose įrenginiuose? Galbūt jūs naudojate naują išmanųjį telefoną, bet kažkas kažkur vis dar naudoja 2005 metų atlenkiamą telefoną. Jei svetainė neveikia tinkamai ir greitai, ji tikrai nekonvertuoja taip gerai, kaip galėtų.

Apklausos svetainėje

Tokios apklausos pasirodo lankytojams naršant jūsų parduotuvėje. Pavyzdžiui, jei vartotojas kurį laiką praleidžia tame pačiame puslapyje, galite paklausti: „Ar yra kas nors, kas šiandien trukdo jums užbaigti pirkimą? Jei taip – kas būtent?“

Tokie kokybiniai duomenys padeda gerinti tekstus, pašalinti kliūtis ir didinti konversijų rodiklį.

Pokalbiai su klientais

Niekas negali pakeisti pokalbio telefonu su klientais. Kodėl jie pasirinko jūsų parduotuvę, o ne konkurentų? Kokią problemą bandė išspręsti patekę į svetainę? Yra milijonas klausimų, kuriuos galite užduoti, kad suprastumėte, kas yra jūsų klientai ir kodėl jie tikrai perka iš jūsų.

Klientų apklausos

Klientų apklausos – tai išsamios apklausos, siunčiamos žmonėms, kurie jau pirko (priešingai nei lankytojams). Rengiant klientų apklausą svarbu sutelkti dėmesį į klientų apibrėžimą, jų problemų identifikavimą, abejones ar dvejones, kurias jie turėjo prieš pirkdami, tai pat žodžius ir frazes, kuriais jie apibūdina jūsų parduotuvę.

Analitikos analizė

Ar analitikos įrankiai tinkamai seka ir atskleidžia duomenis? Gali skambėti keistai, bet nustebsite, kiek analitikos įrankių sukonfigūruota neteisingai. Analitikos analizė padeda suprasti, kaip elgiasi jūsų lankytojai. Pavyzdžiui, galite analizuoti konversijų piltuvą: kuriose vietose yra didžiausi „nuotėkiai“? Kitaip tariant, kur daugiausia žmonių pasitraukia iš pirkimo proceso? Tai puiki vieta pradėti testavimą.

Naudotojų testavimas

Čia stebite tikrus žmones mokamame, kontroliuojamame eksperimente, bandančius atlikti užduotis svetainėje. Pavyzdžiui, galite paprašyti rasti vaizdo žaidimą, kurio kaina yra nuo 40 iki 60 eurų, ir pridėti jį į krepšelį. Atlikdami šias užduotis, jie garsiai pasakoja savo mintis ir veiksmus.

Sesijų įrašai

Sesijų įrašai panašūs į naudotojų testavimą, tik šiuo atveju stebite realius naudotojus, turinčius tikrus pinigus ir tikrą ketinimą pirkti. Galite matyti, kaip jie iš tikrųjų naršo jūsų svetainėje. Ką jiems sunku rasti? Kur jie sustoja ir delsia? Kur atrodo pasimetę?

Yra ir kitų tyrimų metodų, tačiau pradėkite nuo A/B testavimo metodo, kuris jums šiuo metu tinkamiausias. Išbandę kelis skirtingus metodus, sukaupsite duomenimis pagrįstų idėjų, kurias verta testuoti.

Profesionalaus A/B testavimo procesas

Dabar, kai jau aptarėme standartinę A/B testavimo eigą, apžvelkime, kaip šį procesą vykdo profesionalai.

Krista Seiden, „KS Digital“

Mano žingsnis po žingsnio procesas, skirtas žiniatinklio ir programėlių A/B testavimui, prasideda nuo analizės. Mano nuomone, tai yra bet kurios geros testavimo programos pagrindas. Analizės etape tikslas – ištirti analitikos duomenis, apklausų ar naudotojų patirties duomenis arba bet kokius kitus klientų įžvalgų šaltinius, kad suprastumėte optimizavimo galimybes.

Kai analizės etape sukaupiate pakankamai idėjų, galite pereiti prie hipotezių formulavimo – kas gali būti negerai ir kaip galėtumėte potencialiai ištaisyti ar pagerinti šias sritis.

Toliau laikas kurti ir vykdyti testus. Testus būtina vykdyti pakankamai ilgai (aš nustatau dvi savaites, kad įvertinčiau savaitės pokyčius ar anomalijas). Surinkus pakankamai duomenų, analizuojami rezultatai ir nustatoma, kuri versija laimėjo.

Taip pat svarbu šiame etape skirti laiko pralaimėjusiųjų versijų analizei – ko galite iš jų pasimokyti?

Galiausiai galima pereiti prie personalizavimo, tačiau šį etapą pasieksite tik sukūrę tvirtos optimizavimo programos pagrindus. Tam nebūtinai reikia sudėtingų įrankių – dažnai pakanka jau turimų duomenų apie naudotojus.

Rinkodaros personalizavimas gali būti paprastas, pavyzdžiui, tinkamo turinio nukreipimas į tinkamas vietas, arba sudėtingesnis – paremtas individualiais naudotojų veiksmais. Nepulkite iš karto į personalizavimo dalį. Pirmiausia įsitikinkite, kad skyrėte pakankamai laiko tvirtam pagrindui suformuoti.

Alex Birkett, „Omniscient Digital“

Aukštame lygmenyje stengiuosi laikytis šio proceso:

• Rinkti duomenis ir įsitikinti, kad tiksliai įgyvendinama analitika.
• Analizuoti duomenis ir išgryninti įžvalgas.
• Įžvalgas paversti hipotezėmis.
• Nustatyti prioritetus pagal poveikį ir įgyvendinimo paprastumą, maksimaliai efektyviai paskirstant išteklius (ypač techninius).
• Paleisti testą (laikantis statistikos gerųjų praktikų, kiek leidžia žinios ir galimybės).
• Išanalizuoti rezultatus ir, atsižvelgiant į juos, įgyvendinti sprendimą arba jo atsisakyti.
• Kartoti testą pagal gautas įžvalgas.

Paprastai tariant: tyrimai, testavimas, analizė, kartojimas.

Žinoma, šis procesas gali būti keičiamas priklausomai nuo konteksto – ar testuoju kritiškai svarbią produkto funkciją? Tinklaraščio CTA mygtuką? Koks rizikos lygis ir inovacijų bei rizikos mažinimo balansas? Tačiau iš esmės jis tinka bet kokio dydžio ar tipo įmonei.

Svarbiausia, kad procesas būtų lankstus, bet kartu leistų surinkti pakankamai duomenų – tiek kokybinių klientų atsiliepimų, tiek kiekybinės analitikos – kad galėtumėte sugalvoti geresnes testų idėjas, jas efektyviau prioritetizuoti ir nukreipti daugiau srauto į savo internetinę parduotuvę. 

Ton Wesseling, „Online Dialogue“

Pirmasis klausimas, į kurį visada atsakome norėdami optimizuoti klientų kelionę: kur šis produktas ar paslauga yra ROAR modelyje, kurį sukūrėme „Online Dialogue“? Ar vis dar esate rizikos fazėje, kur galėtume atlikti daug tyrimų, bet negalime patvirtinti išvadų internetiniais A/B testų eksperimentais (mažiau nei 1000 konversijų per mėnesį), ar esate optimizavimo fazėje? Ar net aukščiau?

• Rizikos fazė. Daug tyrimų, kurie gali virsti verslo modelio pokyčiu ar net visiškai nauju dizainu ir vertės pasiūlymu.
• Optimizavimo fazė. Dideli eksperimentai, skirti optimizuoti vertės pasiūlymą ir verslo modelį, taip pat maži eksperimentai naudotojų elgesio hipotezėms patvirtinti. Taip kaupiamos žinios didesniems dizaino pokyčiams.
• Automatizavimas. Vis dar turite pakankamai eksperimentavimo galios (srauto), todėl nereikia viso testavimo potencialo vartotojo kelionei patikrinti. Likutį reikėtų naudoti spartesniam augimui (nesikoncentruojant į ilgalaikius mokymosi rezultatus), pavyzdžiui, naudojant „daugiarankio bandito“ metodus ar algoritmus.
• Permąstymas. Nebeatliekate daug testų, nebent planuojamas esminis krypties pokytis.

Taigi žiniatinklio ar programėlių A/B testavimas yra ypač svarbus tik ROAR optimizavimo fazėje (ir vėlesnėse fazėse iki permąstymo etapo).

Vykdydami testavimą naudojame FACT & ACT modelį.

Tyrimai, kuriuos atliekame, pagrįsti 5V modeliu:

Renkame visas šias įžvalgas, kad suformuluotume pagrindinę tyrimais pagrįstą hipotezę. Iš jos išvedamos sub-hipotezes, kurios bus prioritetizuojamos pagal duomenis, surinktus kompiuterių ar mobiliųjų įrenginių A/B testavimo metu. Kuo didesnė tikimybė, kad hipotezė teisinga, tuo aukštesnis jos prioritetas.

Kai išsiaiškiname, ar hipotezė teisinga, ar klaidinga, galime pradėti jungti įžvalgas ir imtis didesnių žingsnių – perkurti ar iš naujo suderinti didesnes klientų kelionės dalis. Tačiau tam tikru momentu visi laimėję sprendimai privers prie lokalaus maksimumo. Tada reikia žengti didesnį žingsnį, kad galėtumėte pasiekti potencialų globalų maksimumą.

Ir, žinoma, pagrindinės išvados pritaikomos visoje įmonėje – tai lemia platesnį optimizavimą ir inovacijas, pagrįstas patvirtintomis pirmosios šalies įžvalgomis.

Ar rinkodarą vykdote tarptautinei auditorijai? Pasidomėkite, kaip palengvinti šį procesą naudojant pseudo-lokalizaciją.

Julia Starostenko, „Pinterest“

Eksperimento tikslas – patvirtinti, kad turimų tinklalapių pakeitimai turės teigiamą poveikį verslui.

Prieš pradedant svarbu nustatyti, ar eksperimentas tikrai reikalingas. Įsivaizduokite scenarijų: yra mygtukas su itin mažu paspaudimų dažniu. Tokio mygtuko veiksmingumo beveik neįmanoma sumažinti. Todėl siūlomo mygtuko pakeitimo veiksmingumo patvirtinimas (t. y. eksperimento vykdymas) nėra būtinas.

Panašiai, jei siūlomas mygtuko pakeitimas nedidelis, tikriausiai neverta skirti laiko eksperimento paruošimui, vykdymui ir užbaigimui. Šiuo atveju pakeitimus galima tiesiog įdiegti ir stebėti mygtuko veiksmingumą.

Jei nustatoma, kad eksperimentas iš tiesų būtų naudingas, kitas žingsnis –  aiškiai apibrėžti, kuriuos verslo rodiklius siekiama pagerinti (pvz., padidinti mygtuko konversijų dažnį). Tada įsitikiname, kad tinkamai nustatytas duomenų rinkimas.

Kai tai padaryta, auditorija padalijama į dvi grupes: vienai grupei rodoma esama mygtuko versija, kitai – nauja versija. Stebimi kiekvienos grupės konversijos rodikliai, o pasiekus statistinį reikšmingumą, nustatomi eksperimento rezultatai.

Peep Laja, „CXL“

A/B testavimas yra tik didesnio konversijų optimizavimo proceso dalis. Mano nuomone, 80 proc. sėkmės lemia tyrimai ir tik 20 proc. – testavimas. Konversijų tyrimai padeda nuspręsti, ką testuoti pirmiausia.

Mano procesas paprastai atrodo taip (supaprastinta santrauka):

1. Atlikti konversijų tyrimus naudojant, pavyzdžiui, „ResearchXL“, siekiant identifikuoti svetainės problemas.
2. Pasirinkti aukšto prioriteto problemą (kuri paveiks didelę naudotojų dalį ir yra rimta problema) ir sugalvoti kuo daugiau šios problemos sprendimų. Idėjų generavimo procesą grįskite konversijų tyrimų įžvalgomis. Nustatykite, kuriame įrenginyje norite vykdyti testą (mobiliesiems įrenginiams skirtą A/B testą reikia vykdyti atskirai nuo kompiuteriams skirto testo).
3. Nustatykite, kiek variantų galite testuoti (pagal srauto / sandorių lygį), tada pasirinkite geriausias vieną–dvi sprendimo idėjas, kurias testuosite greta kontrolinės.
4. Parenkite tikslius sprendimų maketus (parašykite tekstą, atlikite dizaino pakeitimus ir kt.). Priklausomai nuo pakeitimų apimties, gali prireikti dizainerio paslaugų naujiems elementams sukurti.
5. Paprašykite „front-end“ programuotojo įdiegti sprendimus testavimo įrankyje. Nustatykite būtinas integracijas („Google Analytics“) ir nustatykite tinkamus tikslus.
6. Atlikite testo kokybės patikrą (neveikiantys testai yra viena dažniausių A/B testavimo nesėkmių priežasčių). Įsitikinkite, kad testas veikia visose naršyklėse ir įrenginiuose.
7. Paleiskite testą!
8. Kai testas baigtas, atlikite rezultatų analizę.
9. Atsižvelgdami į rezultatus, įdiekite laimėjusią versiją, tobulinkite variacijas arba imkitės kito testo.

Dažniausios A/B testavimo klaidos

Vienu metu testuojama per daug kintamųjų

Kai vienu metu testuojate kelis kintamuosius, gali nepavykti nustatyti, kuris pokytis sukėlė poveikį.

Tarkime, norite optimizuoti nukreipimo puslapį. Vietoj to, kad testuotumėte tik antraštę, testuojate:

• Veiksmo raginimo tekstą
• CTA mygtuko spalvą
• Antraštės vaizdus
• Antraštes

Konversijų rodiklis padidėja, bet negalite nustatyti, kuris pokeitimas tai lėmė. Jei testuotumėte po vieną kintamąjį, galėtumėte izoliuoti kiekvieno pakeitimo poveikį ir gauti tikslesnius rezultatus.

💡Pastaba. Testavimas naudojant kelis kintamuosius gali būti naudojamas, jei norite suprasti, kaip keli kintamieji sąveikauja tarpusavyje. Bet tokiam testui vykdyti reikia daugiau srauto ir jau gerai optimizuoto puslapio, kad žingsnis po žingsnio būtų galima atlikti nedidelius patobulinimus. Be to, šis procesas daug sudėtingesnis nei A/B testavimas.

Nepakankamas imties dydis

A/B testo rezultatų patikimumas priklauso nuo naudojamos imties dydžio. Mažos imtys gali lemti klaidingai teigiamus ir neigiamus rezultatus, todėl tampa sunku nustatyti, ar skirtumai yra jūsų pakeitimų rezultatas, ar atsitiktinumas.

Įsivaizduokite, kad testuojate dvi produkto puslapio versijas, norėdami sužinoti, kuri lemia aukštesnį pirkimo dažnį. Padalijate srautą, bet gaunate tik 100 lankytojų A versijai ir 100 lankytojų B versijai.

Jei A versijos konversijų dažnis 6 proc., o B versijos – 5 proc., galite manyti, kad A versija geresnė. Tačiau turint tik po 100 lankytojų kiekvienai versijai, rezultatai nėra statistiškai reikšmingi. Gali būti, kad testuojant su didesniu kiekiu lankytojų būtumėte gavę kitokius rezultatus.

Geriausias būdas nustatyti tinkamą imties dydį – naudoti imties dydžio skaičiuoklę.

Trumpa testavimo trukmė

Vykdykite A/B testavimą bent vieną, o geriausia du pilnus verslo ciklus. Nestabdykite testo vien todėl, kad pasiekėte statistinį reikšmingumą. Taip pat būtina pasiekti iš anksto nustatytą imties dydį. Galiausiai nepamirškite vykdyti visus testus pilnų savaičių intervalais.

Kodėl du pilni verslo ciklai? Pirma, du ciklai padeda įvertinti:

1. „Man reikia apie tai pagalvoti“ tipo pirkėjus.
2. Skirtingus srauto šaltinius („Facebook“, el. laiškų naujienlaiškis, organinė paieška ir kt.).
3. Anomalijas. Pavyzdžiui, penktadienio naujienlaiškio įtaką.

Dviejų verslo ciklų paprastai pakanka norint gauti vertingų įžvalgų apie tikslinės auditorijos naudotojų elgesį.

Jei naudojote bet kokį A/B testavimo įrankį nukreipimo puslapiui, tikriausiai esate matę mažą žalią piktogramą „Statistiškai reikšminga“.

Deja, daugeliui tai universalus signalas „testas baigtas“. Kaip sužinosite toliau, vien tai, kad pasiektas statistinis reikšmingumas, dar nereiškia, kad testą jau galima baigti.

Naudotojų segmentavimo ignoravimas

Jei neatsižvelgiate į skirtingus naudotojų segmentus, gausite bendrinius rezultatus, kurie gali netikti visiems.

Naudinga segmentuoti naudotojus pagal demografinius duomenis, elgesį ar kitus svarbius veiksnius. Kas veikia naujiems naudotojams, gali neveikti grįžtantiems. Jei nesegmentuosite, atbaidysite pagrindines naudotojų grupes ir pakenksite testo vientisumui.

Optimizuokite A/B testavimą savo verslui

Turite procesą, turite įrankius – beliko veikti! Išsirinkite geriausią A/B testavimo programinę įrangą ir pradėkite testuoti parduotuvę. Ilgainiui sukauptos įžvalgos virs apčiuopiama finansine nauda.

Jei norite toliau gilinti žinias apie optimizavimą, apsvarstykite galimybę prisijungti prie nemokamų kursų, pavyzdžiui, „Udacity“ platformoje siūlomą „Google“ A/B testavimo kursą. Čia galėsite plačiau susipažinti su žiniatinklio ir mobiliųjų programėlių A/B testavimu bei sustiprinti optimizavimo įgūdžius.