Հնարավոր կլինի՞ արդյոք լեզվական մեծ մոդելները գործարկել սահմանափակ ռեսուրսներով հարթակներում

Արհեստական ​​բանականությունը վերջին տարիներին արագ աճում և զարգանում է, սակայն այս աճի հետ մեկտեղ նոր մարտահրավերներ են ի հայտ գալիս: Հիմնական խնդիրներից մեկն այն է, որ ժամանակակից նեյրոնային ցանցերի չափերն աճում են և դրանք ավելի շատ ռեսուրսներ են սպառում: NEWS.am Tech-ի հետ զրույցում Cognaize ընկերության հիմնադիր Վահե Անդոնյանսը խոսել է այն մասին, թե ինչպես կարելի է հաղթահարել այս խնդիրը և լեզվական մեծ մոդելները գործարկել սահմանափակ ռեսուրսներով հարթակներում։ Նա նաև նույն թեմայով դասախոսություն է կարդացել «Դատաֆեստ Երևան» 4-րդ ֆորումի ժամանակ։

Հսկայական մոդելներ և սահմանափակ ռեսուրսներ

Արհեստական բանականությունը, ինչպես ընդգծեց մասնագետը, ահռելի ռեսուրսներ է պահանջում ճիշտ աշխատելու համար։ Հանրահայտ ChatGPT չատբոտը, օրինակ, ունի 1,7 տրիլիոն պարամետր: ChatGPT-ի նման մոդելները տպավորիչ արդյունքներ են գրանցում տարբեր առաջադրանքների ժամանակ, սակայն դրանց հսկական չափերը պահանջում են հսկայական ռեսուրսներ: Ոչ բոլոր ընկերությունները կարող են իրենց թույլ տալ նման հսկայական ռեսուրսներ: Ըստ փորձագետի՝ այսօր աշխարհում, հավանաբար, կա ընդամենը մոտ 10 ընկերություն, որոնք կարող են դա անել։

Ռեսուրսների սպառման նվազեցում

Այս խնդրի լուծման ուղիներից մեկը նեյրոնային ցանցերի օպտիմալացումն է: Նեյրոցանցերը, որոնք մոդելավորում են մարդու ուղեղի աշխատանքը, ներառում են այսպես կոչված քաշեր, որոնք որոշում են նեյրոնների միջև փոխանցվող ազդանշանների կարևորությունը: Այդ քաշերը սովորաբար ներկայացված են լողացող կետով թվերով (floating point numbers):

Սակայն, ինչպես նշեց մասնագետը, նեյրոցանցերի կողմից ռեսուրսների սպառումը նվազեցնելու համար կարելի է դիտարկել լողացող կետով թվերը ամբողջ թվերով (integers) կամ ավելի պարզ, ավելի փոքր թվերով փոխարինելու հնարավորությունը։ Սա կարող է զգալիորեն նվազեցնել օգտագործվող հիշողության և հաշվողական հզորությունների ծավալը:

Սա կհանգեցնի նեյրոցանցի աշխատանքի որակի աննշան վատթարացման, սակայն, մյուս կողմից, նման օպտիմալացումը կարող է հնարավորություն տալ մեծ մոդելները գործարկել ավելի մատչելի հարթակներում:

Լեզվական մեծ մոդելների ապագան

Լեզվական մեծ մոդելները երբեք չեն դադարում զարմացնել մեզ իրենց ներուժով: Այս մոդելների մշակման հիմնական գործոնը հիշողությունն է: Որքան մեծանում է  հիշողության ծավալը, այդքան մոդելները կարողանում են կատարել առաջադրանքների ավելի լայն շրջանակ:

Ներկայումս մոդելների հիշողությունը սահմանափակ է: Օրինակ՝ ChatGPT-ն կարող է հիշել մինչև 80,000 թոքեն միայն։ Այս հիշողության մեծացումը, նշում է Անդոնյանսը, կարևոր քայլ կլինի լեզվական ավելի մեծ մոդելների մշակման գործում:

Լեզվական մեծ մոդելների գործարկումը սահմանափակ ռեսուրսներով հարթակներում այսօր չափազանց արդիական խնդիր է արհեստական բանականության աշխարհում: Օպտիմալացումը և մոդելի չափի և ռեսուրսների սպառման միջև հավասարակշռություն գտնելը հիմնական գործոններն են, որոնք կորոշեն արհեստական բանականության  զարգացման ապագան: Ինչպես նշում են շատ փորձագետներ, հիշողության ավելացումը և օպտիմալացման նոր մեթոդների հայտնաբերումը կօգնի շարունակել արհեստական ​​բանականության գործածումը բոլոր չափերի և հզորության հարթակներում: