A/B-թեստավորումը որպես գաղափարների ստուգման գործիք տվյալների դարաշրջանում. Հարցազրույց Արսեն Եղիազարյանի հետ

Թվային արտադրանքների աշխարհում, որտեղ յուրաքանչյուր մանրուք կարող է ազդել օգտատերերի վարքի վրա, A/B-թեստավորումը դարձել է չափազանց տարածված մշակողների և վերլուծաբանների շրջանում: Սա մեթոդ է, որը թույլ է տալիս համեմատել երկու տարբերակ՝ կայքի դիզայնից մինչև առաջարկությունների ալգորիթմ, և որոշել, թե որն է ավելի լավ աշխատում: Պատկերացրեք՝ ցանկանում եք նոր ֆունկցիա ավելացնել Ձեր հավելվածին, բայց վստահ չեք, որ այն իսկապես կբարձրացնի եկամուտները: Փոխանակ ռիսկի դիմելու, Դուք փորձարկում եք գաղափարը օգտատերերի մի մասի վրա:

Ինչպես NEWS.am Tech-ին տված հարցազրույցում նշել է Softconstruct-ի ԱԻ-ի գծով փոխտնօրեն և DataFest Yerevan-ի կազմակերպիչներից մեկը՝ Արսեն Եղիազարյանը, երբ կա ստուգման կարիք ունեցող վարկած, օրինակ՝ հարթակում առաջարկությունների համակարգի ավելացումը կբարձրացնի եկամուտները, դա կարելի է անել միայն փորձարկման միջոցով: A/B-թեստավորումը թույլ է տալիս հուսալիորեն ստուգել սա:

Եկեք պարզենք, թե ինչպե՞ս է աշխատում A/B-թեստավորումը, ի՞նչ խութեր կարող են լինել և ինչպե՞ս խուսափել դրանցից:

A/B-թեստավորման հիմունքներ. Գաղափարից մինչև փորձ

A/B-թեստավորումը, կամ սպլիտ-թեստավորումը, վերահսկվող փորձ է, որի ընթացքում օգտատերերի խումբը պատահականորեն բաժանվում է երկու մասի՝ A (վերահսկիչ, արտադրանքի սկզբնական տարբերակով) և B (փորձարարական, փոփոխություններով): Խմբերը պետք է նման լինեն բոլոր պարամետրերով, բացի փորձարկվողից:

«Մենք վերցնում ենք բոլոր օգտատերերին, բաժանում երկու խմբի. մեկին միացնում ենք նոր ֆունկցիան, մյուսին՝ ոչ: Արդյունքների ցանկացած տարբերություն կարող է վերագրվել հենց այդ ֆունկցիային», — բացատրել է Եղիազարյանը:

Գործընթացը սկսվում է վարկածի ձևակերպմամբ, օրինակ՝ «Եթե մենք փոխենք կոճակի դիզայնը, կոնվերսիան կաճի 5%-ով»: Այնուհետև որոշվում են հիմնական ցուցանիշները՝ կտտոցներ, գնումներ, կայքում անցկացրած ժամանակ, և նվազագույն հայտնաբերվող էֆեկտը (MDE), այսինքն՝ նվազագույն փոփոխությունը, որն արժե նկատել:

«Սա կախված է բիզնեսից, — բացատրել է Եղիազարյանը: — Երբեմն 1% աճը բերում է հսկայական գումարներ, ուստի արժե այն բռնել: Բայց եթե էֆեկտը 0.3%-ից պակաս է, գուցե ռեսուրսներ ծախսելն արժանի չէ»:

Թեստը սովորաբար շարունակվում է, մինչև բավարար տվյալներ հավաքվեն՝ սովորաբար շաբաթներ կամ ամիսներ, կախված տրաֆիկից և գործունեության ոլորտից:

Մաթեմատիկան կուլիսներում. Վիճակագրություն՝ որոշումների պաշտպան

A/B-թեստի պարզության հետևում թաքնված է ամուր մաթեմատիկական հիմք: Սա վարկածային թեստավորման ձև է. զրոյական վարկածը (H0) ենթադրում է, որ տարբերություններ չկան, այլընտրանքայինը (H1)՝ որ դրանք կան: Վերլուծության համար օգտագործվում է t-թեստ (շարունակական տվյալների համար, օրինակ՝ սեանսի ժամանակը) կամ խի-քառակուսի (կատեգորիական տվյալների համար, օրինակ՝ կոնվերսիա):

Հիմնական ցուցանիշը p-value-ն է՝ հավանականությունը, որ կստացվեն դիտարկված տվյալներ, եթե H0-ն ճիշտ է: Եթե p < 0.05 (ստանդարտ շեմ), մենք մերժում ենք H0-ն և համարում տարբերությունները նշանակալի: Բայց p-value-ը չի խոսում էֆեկտի չափի մասին. դրա համար նայում են վստահության միջակայքը: Ընտրանքի չափը հաշվարկվում է նախապես. 80% հզորության (իրական էֆեկտ հայտնաբերելու հավանականություն) և 5% MDE-ի համար կարող է պահանջվել հազարավոր օգտատերեր: Բանաձև՝ n = (Zα + Zβ)^2 * (p(1-p)) / δ^2, որտեղ Z-ն z-արժեքներն են, p-ն բազային կոնվերսիան է, δ-ն՝ MDE: «Ես կպատմեմ այս ամենի մաթեմատիկայի, վիճակագրության և ծրագրային հարթակներում մարտահրավերների մասին», — խոստացել է Եղիազարյանը իր հարցազրույցում:

Խութեր. Տարածված սխալներ և ինչպե՞ս խուսափել դրանցից

A/B-թեստավորումը համադարման չէ, և այստեղ հեշտ է սխալվել: Հիմնական խութերից մեկը «peeking»-ն է՝ թեստի վաղաժամ դադարեցում առաջին դրական արդյունքների դեպքում: Ըստ որոշ տվյալների՝ սա մեծացնում է կեղծ դրական արդյունքների ռիսկը մինչև 27%՝ 5%-ի փոխարեն: Մեկ այլ խնդիր է ընտրանքի անբավարար չափը, որը հանգեցնում է անզգայուն թեստերի: Կամ ռանդոմիզացիայի բացակայություն. եթե խմբերը հավասար չեն (օրինակ՝ աշխարհագրորեն), արդյունքները խեղաթյուրվում են:

Բազմակի թեստավորումը (մի քանի ցուցանիշ միաժամանակ) պահանջում է ուղղում, ինչպիսին է Bonferroni-ն, կեղծ բացահայտումներից խուսափելու համար: Սեզոնայնությունն ու արտաքին գործոնները նույնպես խնդիր են. տոների ժամանակ անցկացված թեստը կարող է սխալ եզրակացություններ տալ:

Լուծում. Նախապես պլանավորեք, օգտագործեք A/A-թեստեր՝ համակարգը ստուգելու համար, և ամրագրեք թեստի դիզայնը փաստաթղթերում:

Իրական օրինակներ. Ինչպե՞ս են հսկաներն օգտագործում A/B-ը

Google-ի նման ընկերությունները թեստավորում են ամեն ինչ. նրանք ստուգել են հղումների համար կապույտի 41 երանգ՝ տարեկան 200 միլիոն դոլարով ավելացնելով կտտոցները: Netflix-ը A/B-թեստավորում է մանրապատկերներ (thumbnails)՝ դիտումները մեծացնելու համար. մեկ թեստ ցույց է տվել, որ անհատականացված պատկերները բարձրացնում են ներգրավվածությունը 20-30%-ով: Amazon-ը օպտիմիզացնում է կոճակներն ու դասավորությունը, որտեղ նույնիսկ փոքր փոփոխությունները միլիոններ են բերում: Էլեկտրոնային առևտրում, օրինակ՝ Turum-burum-ի դեպքում, վճարման գործընթացի թեստը նվազեցրել է օգտատերերի հեռացումը 45%-ով: Այս օրինակները ցույց են տալիս. A/B-ը հաջողության մասին չէ, այլ տվյալների:

A/B-թեստավորումը որպես նորարարությունների կատալիզատոր

A/B-թեստավորումը կանխատեսումները վերածում է փաստերի՝ օգնելով ընկերություններին աճել առանց ավելորդ ռիսկերի: Ինչպես ընդգծել է Եղիազարյանը, «սա ծրագրային ապահովման մեջ վարկածները ստուգելու լավագույն միջոցն է»: Ճիշտ մոտեցմամբ՝ մաթեմատիկայից մինչև խութերից խուսափելը, այն կարող է դառնալ իսկապես հզոր գործիք: