Kas yra A/B testavimas
- Norint patikimai (95 % reikšmingumo lygis, 80 % galia) aptikti konversijos padidėjimą nuo 1,5 % iki 1,8 %, kiekvienai versijai reikia apie 28 300 sesijų.
- Google Optimize ir Optimize 360 nebeveikia nuo 2023 m. rugsėjo 30 d.; Google nurodo trečiųjų šalių A/B testavimo integracijas su GA4, tarp jų AB Tasty, Optimizely ir VWO.
- Google Ads tinkinti eksperimentai veikia Search, Display, Video ir Hotel kampanijose; Google rekomenduoja 50 % srauto padalijimą ir slapukais pagrįstą skirstymą, kad tas pats žmogus matytų tik vieną versiją.
- Meta A/B testas leidžia lyginti reklamos vaizdus, tekstą, auditoriją ar paskirties vietas ir užtikrina, kad nė vienas žmogus nematytų abiejų versijų.
- Jei testas sustabdomas vos tik rezultatas tampa „reikšmingas“, klaidingų laimėtojų tikimybė gerokai viršija nustatytus 5 %, todėl imties dydį reikia nustatyti iš anksto.
A/B testavimas išsamiai
Kas yra A/B testavimas
A/B testavimas (angl. A/B testing, dar vadinamas split testing) – kontroliuojamas eksperimentas. Lankytojai atsitiktinai padalijami į dvi grupes: A mato dabartinę versiją (kontrolinę), B – pakeistą. Abi grupės matomos tuo pačiu metu, todėl sezonas, reklama ar savaitės diena jas veikia vienodai, ir skirtumą galima priskirti būtent pakeitimui.
Tai esminis skirtumas nuo „prieš ir po“ palyginimo. Jei pakeitėte krepšelio puslapį pirmadienį, o antradienį prasidėjo Juodojo penktadienio akcija, „po“ periodas bus geresnis nepriklausomai nuo pakeitimo. A/B testas tokią klaidą pašalina.
Kai vienu metu lyginamos daugiau nei dvi versijos, tai vadinama A/B/n testu, o kai keičiami keli elementai ir jų deriniai – daugiamačiu testu (angl. multivariate test). Pastarajam reikia kelis kartus daugiau srauto, todėl mažai el. parduotuvei jis retai tinka.
Kaip atlikti A/B testą: 7 žingsniai
- Raskite problemą duomenyse. GA4 piltuvo ataskaitoje (Explore → Funnel exploration) pažiūrėkite, kuriame žingsnyje prarandama daugiausia pirkėjų. Testuokite ten, ne ten, kur „atrodo negražiai“.
- Suformuluokite hipotezę. „Jei pristatymo kainą parodysime prekės puslapyje, daugiau lankytojų pradės apmokėjimą, nes neliks netikėtumo krepšelyje.“
- Pasirinkite vieną pagrindinį rodiklį. Dažniausiai – užsakymai sesijai (konversija) arba pajamos sesijai. Papildomai stebėkite krepšelio vidurkį, kad laimėtojas nesumažintų jo.
- Apskaičiuokite reikiamą imtį ir trukmę. Prieš paleidžiant – ne testo metu. Trukmė – ne trumpesnė nei dvi pilnos savaitės, kad būtų apimtos visos savaitės dienos.
- Patikrinkite techninį įgyvendinimą. Abi versijos veikia mobiliajame ir kompiuteryje, nėra mirgėjimo (angl. flicker) – kai lankytojas trumpam pamato A versiją prieš B.
- Nelieskite testo, kol nepasiekta imtis. Nestabdykite anksčiau, net jei rezultatas atrodo aiškus.
- Įvertinkite ir užrašykite. Rezultatas, reikšmingumas, segmentai (mobilieji, nauji pirkėjai), sprendimas. Neigiamas rezultatas – irgi žinojimas.
Kiek srauto reikia A/B testui
Tai svarbiausias klausimas Lietuvos el. parduotuvei, nes srautas dažniausiai yra nedidelis. Reikiama imtis priklauso nuo dabartinės konversijos ir nuo to, kokio mažiausio pokyčio norite aptikti (angl. minimum detectable effect, MDE). Žemiau pateikti skaičiai apskaičiuoti standartine dviejų proporcijų formule su 95 % reikšmingumo lygiu ir 80 % galia:
| Dabartinė konversija | Norimas aptikti pokytis | Sesijų vienai versijai | Sesijų iš viso (A + B) |
|---|---|---|---|
| 1,5 % | iki 1,65 % (+10 %) | ~108 150 | ~216 300 |
| 1,5 % | iki 1,8 % (+20 %) | ~28 300 | ~56 600 |
| 1,5 % | iki 1,95 % (+30 %) | ~13 140 | ~26 280 |
| 3,0 % | iki 3,6 % (+20 %) | ~13 910 | ~27 820 |
Išvada praktinė: jei el. parduotuvė turi 20 000 sesijų per mėnesį, testas, galintis aptikti 20 % konversijos pokytį, truks beveik tris mėnesius. Mažus 5–10 % pagerinimus tokiu srautu patikimai išmatuoti neįmanoma. Ką daryti:
- Testuokite didelius pakeitimus – naują apmokėjimo eigą, kitokį pristatymo pasiūlymą, o ne mygtuko spalvą.
- Testuokite arčiau pirkimo – krepšelio ar apmokėjimo puslapyje konversija į kitą žingsnį yra daug didesnė (pvz., 40–60 %), todėl reikia mažesnės imties.
- Rinkitės mikrokonversiją – „pradėjo apmokėjimą“ vietoj „nupirko“, jei ji glaudžiai susijusi su pirkimu.
- Testuokite reklamoje – Google Ads ir Meta eksperimentai naudoja reklamos srautą, kurio dažnai yra daugiau nei svetainėje.
Statistinis reikšmingumas paprastai
Reikšmingumo lygis (dažniausiai 5 %, arba 95 % „patikimumas“) – tai tikimybė paskelbti laimėtoją, kai iš tikrųjų skirtumo nėra. Galia (dažniausiai 80 %) – tikimybė aptikti skirtumą, kai jis tikrai yra. p reikšmė parodo, kiek tikėtinas būtų toks ar didesnis skirtumas, jei versijos iš tikrųjų būtų vienodos.
Dvi dažnos klaidos. Pirma – stebėjimas ir stabdymas: jei rezultatą tikrinate kasdien ir stabdote vos p < 0,05, klaidingų laimėtojų bus daug daugiau nei 5 %. Antra – daug rodiklių ir segmentų: patikrinę 20 segmentų, vieną „reikšmingą“ rasite atsitiktinai. Iš anksto nuspręskite pagrindinį rodiklį ir imtį.
Kai kurie įrankiai naudoja Bajeso statistiką ir rodo „tikimybę būti geresniu“. Ji intuityvesnė, bet nepanaikina poreikio turėti pakankamai duomenų: 90 % tikimybė su 50 užsakymų kiekvienoje versijoje vis dar yra silpnas pagrindas.
Kaip įvertinti A/B testo rezultatą
Testui pasibaigus, prieš skelbdami laimėtoją, atsakykite į keturis klausimus:
- Ar pasiekta numatyta imtis? Jei ne, rezultatas preliminarus, net jei įrankis rodo „laimėtoją“.
- Ar grupės buvo vienodo dydžio? Jei planavote 50 / 50, o gavote 52 / 48 su dideliu srautu, tai ženklas, kad skirstymas veikė netinkamai (angl. sample ratio mismatch), pvz., viena versija lėčiau krovėsi ir dalis lankytojų neužfiksuota.
- Ar pagerėjo pinigai, ne tik pagrindinis rodiklis? Konversija gali pakilti, o krepšelio vidurkis nukristi. Žiūrėkite pajamas sesijai ir maržą.
- Kokio dydžio patikimumo intervalas? „+20 % (nuo +5 % iki +35 %)“ yra daug informatyviau nei „B laimėjo“. Planuodami pajamas remkitės apatine riba.
A/B testavimo įrankiai po Google Optimize
Google Optimize ir Optimize 360 buvo išjungti 2023 m. rugsėjo 30 d. Google nurodo, kad investuoja į trečiųjų šalių A/B testavimo integracijas su Google Analytics, ir mini AB Tasty, Optimizely ir VWO. Pasirinkimas el. parduotuvei:
| Ką testuojate | Įrankis | Pastabos |
|---|---|---|
| Svetainės puslapius | VWO, Optimizely, AB Tasty ar kiti su GA4 integracija | Kliento pusės testai gali sukelti mirgėjimą; serverio pusės testai patikimesni, bet reikia programuotojo |
| Shopify parduotuvę | Shopify programėlės iš Shopify App Store | Tikrinkite, ar programėlė testuoja ir apmokėjimo žingsnį |
| Paieškos reklamą | Google Ads tinkinti eksperimentai | Search, Display, Video ir Hotel kampanijos; rekomenduojamas 50 % padalijimas |
| Socialinę reklamą | Meta Ads A/B testas | Vaizdai, tekstas, auditorija, paskirties vietos; žmogus mato tik vieną versiją |
| Naujienlaiškius | MailerLite, Omnisend, Klaviyo, Mailchimp | Tema, siuntėjas, turinys; laimėtojas siunčiamas likusiai daliai |
Google Ads tinkintuose eksperimentuose galima rinktis slapukais pagrįstą skirstymą (tas pats žmogus mato tik vieną versiją, Google jį rekomenduoja) arba paieška pagrįstą (kiekviena paieška priskiriama atsitiktinai, rezultatas pasiekiamas greičiau, bet tas pats žmogus gali matyti abi versijas).
Ką verta testuoti el. parduotuvėje
| Vieta | Testo idėja | Pagrindinis rodiklis |
|---|---|---|
| Prekės puslapis | Pristatymo kainos ir termino rodymas prie kainos | Įdėjimai į krepšelį / peržiūros |
| Krepšelis | Nemokamo pristatymo ribos juosta | Krepšelio vidurkis, pajamos sesijai |
| Apmokėjimas | Pirkimas be registracijos, paštomatų žemėlapis, mokėjimo būdų tvarka | Užbaigti užsakymai / pradėti apmokėjimai |
| Kategorijos puslapis | Filtrų išdėstymas mobiliajame, rikiavimas pagal populiarumą | Prekių peržiūros sesijai |
| Reklama | Prekės nuotrauka ant balto fono prieš nuotrauką naudojimo aplinkoje | Pirkimai ir ROAS, ne paspaudimai |
Pavyzdys: pristatymo kainos rodymas prekės puslapyje
Lietuvos namų prekių el. parduotuvė turi apie 24 000 sesijų per mėnesį, konversija – 1,5 %, krepšelio vidurkis – 45,45 € be PVM, bendroji marža – 40 %. Hipotezė: jei prekės puslapyje po kaina bus parodyta „Pristatymas į paštomatą nuo 2,49 €, rytoj“, mažiau pirkėjų atsisakys krepšelyje.
| Etapas | A (dabartinė) | B (su pristatymo kaina) | Išvada |
|---|---|---|---|
| Po 1 mėnesio | 12 000 sesijų, 180 užsakymų, 1,5 % | 12 000 sesijų, 216 užsakymų, 1,8 % | p = 0,068 – nereikšminga, tęsti |
| Po ~2 mėnesių | 25 000 sesijų, 375 užsakymai, 1,5 % | 25 000 sesijų, 450 užsakymų, 1,8 % | p = 0,008 – reikšminga |
Kodėl po pirmo mėnesio sustoti buvo per anksti. Tas pats 20 % skirtumas su 12 000 sesijų kiekvienoje grupėje dar galėjo būti atsitiktinis (p = 0,068). Prieš testą apskaičiuota imtis – apie 28 300 sesijų versijai – reiškė, kad testas turi trukti apie 2,4 mėnesio. Rezultatas tapo patikimas tik su 25 000 sesijų kiekvienoje versijoje.
Ką tai reiškia pinigais. Jei visam srautui (24 000 sesijų per mėnesį) konversija pakyla nuo 1,5 % iki 1,8 %, tai 72 papildomi užsakymai per mėnesį: 72 × 45,45 € = 3 272 € pajamų be PVM ir 1 309 € bendrosios maržos. Per metus – apie 15 700 € maržos už vieną teksto eilutę prekės puslapyje.
Ką patikrinti prieš įdiegiant. Ar B nesumažino krepšelio vidurkio, ar rezultatas panašus mobiliajame ir kompiuteryje, ar per testą nesikeitė reklamos biudžetas tik vienai grupei. Pristatymo kainas pagal vežėją galite palyginti paštomatų įrankyje.
Dažniausios klaidos
- Testas sustabdomas, vos įrankis parodo „95 % patikimumas“. Kasdien tikrinant ir stabdant pirmą kartą pasiekus ribą, klaidingų laimėtojų tikimybė daug didesnė nei 5 %.
- Imtis neapskaičiuojama iš anksto. Su keliais tūkstančiais sesijų įmanoma aptikti tik labai didelius skirtumus, todėl dauguma tokių testų baigiasi „nieko nepakito“ arba atsitiktiniu laimėtoju.
- Testuojamos smulkmenos – mygtuko spalva, šrifto dydis. Mažam srautui jų poveikis per mažas, kad būtų išmatuojamas.
- Testas trunka trumpiau nei dvi savaites. Savaitgalio ir darbo dienų pirkėjai elgiasi skirtingai, todėl reikia apimti pilnus savaitės ciklus.
- Vertinami paspaudimai, ne pardavimai. Reklamos ar naujienlaiškio versija su didesniu paspaudimų rodikliu gali atnešti mažiau užsakymų.
- Lyginama „prieš ir po“ vietoje vienalaikio testo. Sezonas, akcijos ir reklamos pokyčiai iškreipia rezultatą.
- Testavimo įrankis paleidžiamas be slapukų sutikimo. Įrankiai, kurie lankytojui įrašo identifikatorių, nėra būtinieji slapukai.
A/B testavimas Lietuvoje
Lietuvos el. parduotuvėms didžiausias A/B testavimo apribojimas – srautas. Eurostat duomenimis, 2025 m. per paskutinius 3 mėnesius internetu pirko 53,5 proc. 16–74 m. Lietuvos gyventojų; tai maža rinka absoliučiais skaičiais, todėl dauguma parduotuvių neturi šimtų tūkstančių sesijų per mėnesį. Realistiška strategija – keli dideli testai per metus apmokėjimo eigoje ir reklamoje, o ne dešimtys smulkių testų dizaine.
A/B testavimo įrankiai paprastai įrašo lankytojui slapuką ar kitą identifikatorių, kad jis kiekvieną kartą matytų tą pačią versiją. Pagal Elektroninių ryšių įstatymą ir BDAR tokiems nebūtiniems slapukams reikia lankytojo sutikimo, o informaciją apie juos – pateikti slapukų politikoje. Testas, kuriame dalyvauja tik sutikimą davę lankytojai, vis tiek patikimas, jei abiejų versijų grupės sudaromos vienodai. Priežiūrą atlieka Valstybinė duomenų apsaugos inspekcija.
Testuodami kainas ar nuolaidas, laikykitės kainų nurodymo taisyklių: skelbiant kainos sumažinimą, ankstesnė kaina turi būti mažiausia per 30 dienų iki sumažinimo taikyta kaina (Direktyva 98/6/EB, pakeista Direktyva (ES) 2019/2161). Skirtingos kainos skirtingoms lankytojų grupėms be aiškaus pagrindo gali būti vertinamos kaip nesąžininga komercinė veikla, todėl kainų testams geriau naudoti pristatymo sąlygas ar rinkinius.
Susiję terminai
- Pagal GA4 piltuvą surandame žingsnį, kuriame verta testuoti, ir apskaičiuojame, kiek laiko testas truks su jūsų srautu.
- Įgyvendiname testus serverio pusėje arba per el. parduotuvės platformą, kad neliktų mirgėjimo ir lėtėjimo.
- Sujungiame testo grupes su GA4 ir užsakymais, kad rezultatas būtų vertinamas pardavimais, ne paspaudimais.
- Laimėjusią versiją įdiegiame visam srautui ir stebime, ar rezultatas išlieka.
Dažni klausimai
Kas yra A/B testavimas?
A/B testavimas – eksperimentas, kai lankytojai atsitiktinai padalijami į dvi grupes, kurios mato skirtingas puslapio, reklamos ar laiško versijas, ir pagal pasirinktą rodiklį nustatoma, kuri versija geresnė.
Kiek laiko turi trukti A/B testas?
Kol pasiekiama iš anksto apskaičiuota imtis, bet ne trumpiau nei dvi pilnos savaitės. Su 20 000 sesijų per mėnesį testas, aptinkantis 20 % konversijos pokytį, trunka beveik tris mėnesius.
Kiek srauto reikia A/B testui?
Priklauso nuo konversijos ir norimo aptikti pokyčio. Esant 1,5 % konversijai ir norint aptikti padidėjimą iki 1,8 %, reikia apie 28 300 sesijų kiekvienai versijai.
Kas pakeitė Google Optimize?
Google Optimize išjungtas 2023 m. rugsėjo 30 d. Google nurodo trečiųjų šalių integracijas su GA4, pvz., AB Tasty, Optimizely ir VWO. Reklamai galima naudoti Google Ads ir Meta eksperimentus.
Kas yra statistinis reikšmingumas?
Tai įvertinimas, ar skirtumas tarp versijų greičiausiai nėra atsitiktinis. Dažniausiai naudojamas 5 % reikšmingumo lygis: rezultatas laikomas reikšmingu, kai p reikšmė mažesnė nei 0,05.
Kuo skiriasi A/B testas ir daugiamatis testas?
A/B teste lyginamos dvi versijos, daugiamačiame – keli elementai ir visi jų deriniai. Daugiamačiam testui reikia daug daugiau srauto.
Ar galima A/B testuoti naujienlaiškius?
Taip. Dauguma el. pašto rinkodaros platformų leidžia išsiųsti dvi temos ar turinio versijas daliai gavėjų ir laimėjusią versiją automatiškai išsiųsti likusiems.
Ar A/B testui reikia slapukų sutikimo?
Dažniausiai taip, nes testavimo įrankiai įrašo lankytojui identifikatorių, kuris nėra būtinas svetainės veikimui. Tai reikia aprašyti slapukų politikoje.
Šaltiniai
- [Sunset September 2023] Google Optimize – Google Analytics Help
- Set up a custom experiment – Google Ads Help
- About A/B Testing – Meta Business Help Center
- API dimensions and metrics (GA4 Data API) – Google for Developers
- Internet purchases by individuals (isoc_ec_ib20) – Eurostat
- Direktyva (ES) 2019/2161 dėl geresnio vartotojų apsaugos taisyklių vykdymo užtikrinimo ir modernizavimo – EUR-Lex
- Reglamentas (ES) 2016/679 (BDAR) – EUR-Lex