Նեյրոնային ցանց, որը խոսում է հայերեն. Հարցազրույց՝ տվյալների դարաշրջանում սեփական լեզվական մոդելի ստեղծման ճանապարհի մասին

Վերջին ամիսներին ChatGPT-ի նման լեզվական մոդելները դարձել են շատերի առօրյա կյանքի անբաժանելի մասը: Սակայն փոքր լեզուների համար, ինչպիսին հայերենն է, նման տեխնոլոգիաների հասանելիությունը սահմանափակ է: DataFest Yerevan-ի ժամանակ Metric ընկերության ավագ NLP ինժեներ Սպարտակ Բուղդարյանը կիսվել է հայերեն բաց լեզվական մոդել ստեղծելու փորձով: Սա ոչ միայն տեխնիկական նախագիծ է, այլև քայլ դեպի անկախություն գլոբալ հսկաներից, կենտրոնացում տվյալների անվտանգության և տեղական կարիքների վրա:

«Մենք աշխատում ենք մեծ լեզվական մոդելի վրա, որը նման է հայտնի ChatGPT-ին: Ցանկանում ենք ունենալ լիովին անվճար և բաց նեյրոնային ցանց, որը լավ խոսում է հայերեն», — պատմել է Բուղդարյանը NEWS.am Tech-ին տված հարցազրույցում:

Ինչու՞ է Հայաստանին անհրաժեշտ սեփական լեզվական մոդել

Հայերենը, իր յուրօրինակ քերականությամբ և թվային տեքստերի համեմատաբար փոքր ծավալով, համարվում է ցածր ռեսուրսներով լեզու: Ըստ այնպիսի հետազոտությունների, ինչպիսին, օրինակ, Hugging Face-ի զեկույցն է, անգլերենի համար հասանելի են տրիլիոնավոր տոքեններով տվյալներ, մինչդեռ հայերենի համար դրանք նկատելիորեն քիչ են: Սա ստանդարտ մոդելները, որոնք հիմնականում վարժեցվել են անգլերենով, ավելի քիչ արդյունավետ է դարձնում հայերենի համար:

«Համեմատած անգլերենի հետ, որտեղ տվյալների ծավալն անհամեմատ մեծ է, հայերենը պահանջում է հատուկ մոտեցում», — նշում է Բուղդարյանը:

Հայերեն հասկացող նեյրոնային ցանցի մշակման հիմնական դրդապատճառը անվտանգությունն է: Շատ կազմակերպություններ, հատկապես բանկային ոլորտում, չեն կարող օգտագործել ամպային ծառայություններ, ինչպիսին ChatGPT-ն է, տվյալների արտահոսքի ռիսկերի պատճառով:

«Հաճախ տվյալները չպիտի լքել երկիրը, հատկապես անձնական և ֆինանսական տվյալները: Բանկերի նման կազմակերպությունների համար դա կարևոր է», — ընդգծում է ինժեները:

Սեփական մոդելը թույլ է տալիս գործարկել ԱԲ-ն տեղում՝ ընկերության կամ կազմակերպության սերվերներում, առանց տեղեկատվությունը արտերկիր փոխանցելու: Սա կարող է լուծել մի շարք խնդիրներ: Բացի այդ, բաց կոդը տեխնոլոգիան հասանելի է դարձնում բոլորի համար՝ մշակողներից մինչև փոքր բիզնեսներ:

Գործնականում նման մոդելը կարող է կիրառվել չաթ-բոտերում, թարգմանիչներում, տեքստերի վերլուծությունում և նույնիսկ ծրագրավորողներին օգնելու համար:

«Բանկերը կարող են օգտագործել այն ChatGPT-ի փոխարեն ներքին առաջադրանքների համար՝ առանց արտահոսքի ռիսկի», — ավելացնում է Բուղդարյանը:

Սա հատկապես արդիական է Հայաստանի համար, որտեղ ՏՏ ոլորտը աճում է, բայց օտարերկրյա ծառայություններից կախվածությունը ստեղծում է որոշակի խոցելիություններ:

Ստեղծման գործընթաց. Տվյալների հավաքումից մինչև վարժեցում

LLM-ի ստեղծումը բազմափուլ գործընթաց է, և Metric-ի թիմը չի սկսում զրոյից:

«Լիովին զրոյից լեզվական մոդել ստեղծելը միլիոնավոր դոլարներ է պահանջում: Մենք վերցնում ենք այլ հետազոտողների պատրաստի մոդելներ և վարժեցնում դրանք հայերենով», — պատմում է Բուղդարյանը:

Նախագծի հիմքում ընկած են բաց մոդելներ, ինչպիսիք են LLaMA-ն կամ Mistral-ը, որոնք արդեն անցել են բազային վարժեցում:

Առաջին փուլը տվյալների հավաքումն ու մաքրումն է: Թիմը փնտրում է բոլոր հասանելի հայերեն տեքստերը՝ Վիքիպեդիայից, գրքերից, նորություններից:

«Մենք հավաքում, մաքրում և ձևափոխում ենք, որպեսզի մոդելը կարողանա օգտագործել դրանք», — բացատրում է նա:

Ծավալը կարևոր է. որակյալ վարժեցման համար անհրաժեշտ են միլիարդավոր տոքեններ, բայց հայերենի համար դրանք ստիպված են «քամել» սահմանափակ աղբյուրներից:

Հաջորդը՝ վարժեցումը: Մի մեթոդը մոդելին տեքստերով «կերակրելն» է, որպեսզի այն սովորի լեզուն: Մյուսը՝ fine-tuning-ը առաջադրանքներով. «Մենք տալիս ենք հրահանգներ ճիշտ և սխալ պատասխաններով, օրինակ՝ «գրիր հինգ նախադասություն, որոնք սկսվում են Ա-ով»»: Սա օգնում է մոդելին ոչ միայն հասկանալ, այլև կապակցված տեքստեր գեներացնել:

Առայժմ թիմն ունի նախատիպեր՝ ոչ լիարժեք չաթ-բոտեր, այլ embeddings մոդելներ:

«Սա այն մասն է, որը համեմատում է տեքստերը նմանության համար: Այն արդեն բաց է և անվճար», — ասում է Բուղդարյանը:

Էթիկական մարտահրավերներ. Պայքար ԱԲ-ի կողմնակալությունների դեմ

Նախագծի ամենաբարդ մասերից մեկը մոդելի գնահատումն է:

«Պետք է հասկանալ, թե արդյոք մոդելը լավն է: Երբեմն այն թվում է խելացի, բայց թաքցնում է կողմնակալություններ», — զգուշացնում է ինժեները:

ԱԲ-ի կողմնակալության խնդիրը գլոբալ է. մոդելները «ժառանգում» են կանխակալ կարծիքներ մարդկանց ստեղծած տվյալներից: «Տվյալները միշտ ունեն կողմնակալություն: Մարդիկ ունեն նախապատվություններ, և դրանք փոխանցվում են տվյալներին»:

Կողմնակալության օրինակներ. մոդելը կարող է «նախընտրել» սպիտակամորթ մարդկանց սևամորթների նկատմամբ կամ պատասխաններում առաջնորդվել գենդերային կարծրատիպերով: Կարող է լինել նաև մշակութային կողմնակալություն:

Նեյրոնային ցանցերի կողմնակալության դեմ պայքարելու համար թիմն օգտագործում է թեստեր. «Օրինակ, մենք ներկայացնում ենք սցենարներ տարբեր մարդկանցով՝ սևամորթ և սպիտակամորթ, ստանում ենք պատասխան: Հետո փոխում ենք հերոսներին տեղերով, որպեսզի տեսնենք, արդյոք նեյրոնային ցանցի պատասխանը փոխվում է»: Եթե այո, դա ազդանշան է, որ մոդելը, հավանաբար, կարիք ունի ճշգրտումների:

Խնդիրը մեղմելու մեթոդներն են՝ վաղ փուլերում տվյալների վերլուծություն, վնասակար օրինաչափությունների հեռացում, տեխնիկաների օգտագործում, ինչպիսին է RLHF-ը (Reinforcement Learning from Human Feedback), ինչպես OpenAI-ում: «Որքան շուտ նկատենք կողմնակալությունը, այնքան լավ: Մենք ուսումնասիրում ենք տվյալները և ճշգրտում: Չենք ուզում մոդել, որը թվում է խելացի, բայց իրականում ռասիստական է», — կիսվում է Բուղդարյանը:

Ստենֆորդի AI Index-ի նման հետազոտությունները ցույց են տալիս, որ առանց դրա մոդելները ուժեղացնում են սոցիալական անհավասարությունները: