Ո՞րն է ժամանակակից ԱԲ-մոդելների գլխավոր թուլությունը

Հետազոտողների միջազգային խումբը իրականացրել է փորձ, որը վեր է հանել առաջատար լեզվական մոդելների լուրջ և նախկինում քիչ ուսումնասիրված խնդիրը։ Պարզվում է, որ կայուն ուշադրություն պահանջող առաջադրանքի երկարության մեծացման դեպքում ԱԲ-ի ճշգրտությունը կտրուկ ընկնում է՝ ընդհուպ մինչև հրահանգի կատարումից գրեթե լիակատար հրաժարում։

Հետազոտության արդյունքները հրապարակվել են PNAS Nexus ամսագրում։

Դասական թեստը նոր պայմաններում

Ստուգման համար գիտնականներն օգտագործել են Ստրուպի հայտնի թեստը՝ հոգեբանական փորձ, որը մշակվել է դեռևս 1935 թվականին։ Փորձարկվողին ցույց են տալիս գույներ նշանակող բառեր («կարմիր», «կապույտ», «կանաչ»), բայց գրված մի գույնով, որը չի համապատասխանում բառի իմաստին։ Խնդիրն է՝ անվանել թանաքի գույնը՝ արհամարհելով բուն բառը։

Մարդիկ սրա հետ գլուխ են հանում հարաբերականորեն կայուն կերպով նույնիսկ երկար ցուցակների դեպքում, թեև ունենում են կոգնիտիվ (ճանաչողական) կոնֆլիկտ։ Ուղեղը հաջողությամբ ճնշում է կարդալու ավտոմատ ռեակցիան։

Սուկետու Պատելի ղեկավարությամբ հետազոտողները թեստը հարմարեցրել են ԱԲ-ի համար և դրա վրա ստուգել մի քանի առաջատար մոդելներ.

• GPT-4o
• Claude 3.5 Sonnet
• GPT-5
• Claude Opus 4.1
• Gemini 2.5

Ցնցող արդյունքներ

Կարճ ցուցակների դեպքում (5 բառ) բոլոր մոդելները ցուցադրում էին բարձր ճշգրտություն։ Սակայն առաջադրանքի երկարության աճին զուգընթաց արդյունքները վատթարանում էին դրամատիկորեն.

• GPT-4o. 5 բառի դեպքում՝ 91% ճիշտ պատասխաններ, 10 բառի դեպքում՝ 57%, 40 բառի դեպքում՝ ընդամենը 15%:
• Claude 3.5 Sonnet. վստահորեն աշխատում էր մինչև 20 բառ, որից հետո ճշգրտությունը գահավիժեց մինչև 24%:

Մոդելներն աստիճանաբար «մոռանում էին» սկզբնական հրահանգը և սկսում էին պարզապես կարդալ գրված բառը, այսինքն՝ վերադառնում էին այն ամենաուժեղ պատերնին (օրինաչափությանը), որի վրա վերապատրաստվել էին։

Սկզբունքային տարբերությունը մարդուց

Ի տարբերություն մարդկանց, որոնք ընդունակ են երկար ժամանակ պահպանել կամայական ուշադրությունը և ճնշել ավտոմատ ռեակցիաները, ժամանակակից ԱԲ-ները դրսևորում են ծայրահեղ ցածր կայունություն երկարատև կոգնիտիվ ծանրաբեռնվածությունների հանդեպ։ Ըստ էության, որքան երկար է առաջադրանքը, այնքան ավելի ուժեղ է արտահայտվում այս ֆունդամենտալ թերությունը։

Կարճ ասած

Գիտնականները հայտնաբերել են ժամանակակից լեզվական մոդելների լուրջ թուլություն. ուշադրության կենտրոնացում պահանջող առաջադրանքի երկարության մեծացման դեպքում դրանց ճշգրտությունը կտրուկ ընկնում է։ Ստրուպի թեստը ցույց է տվել, որ GPT-4o-ն և Claude 3.5 Sonnet-ը արդեն իսկ ցուցակի չափավոր երկարության դեպքում գրեթե դադարում են հետևել հրահանգին։ ԱԲ-ի այս սկզբունքային տարբերությունը մարդկային մտածողությունից ընդգծում է արհեստական բանականության կայուն ուշադրության ոլորտում հետագա հետազոտությունների անհրաժեշտությունը։