Արհեստական ​բանականության գեներատիվ մոդելները գրավում են բազմաթիվ բիզնես առաջնորդների երևակայությունը՝ խոստանալով անցնել ավտոմատացման և փոխարինել միլիոնավոր մարդկանց իրենց աշխատատեղերում: Այնուամենայնիվ, Մասաչուսեթսի տեխնոլոգիական ինստիտուտի (MIT) գիտնականները նախազգուշացնում են, որ ԱԲ-ն, թեև տալիս է արժանահավատ պատասխաններ, իրականում բարդ համակարգերի մասին պատկերացում չունի և սահմանափակված է կանխատեսումներով: Իրական խնդիրներում, լինի դա տրամաբանություն, նավիգացիա, քիմիա կամ խաղեր, ԱԲ-ն զգալի սահմանափակումներ ունի։

Ժամանակակից լեզվական խոշոր մոդելները (LLM), ինչպիսին է GPT-4-ը, օգտատերերի տված բարդ հարցումներին խելամիտ պատասխանի տպավորություն են թողնում, երբ իրականում դրանք միայն ճշգրիտ կանխատեսում են որոշակի համատեքստում նախորդ բառերի կողքին տեղադրվող ամենահավանական բառերը: Փորձելու համար, թե արդյոք ԱԲ մոդելները կարող են իսկապես «հասկանալ» իրական աշխարհը, MIT-ի գիտնականները մշակել են չափումներ, որոնք նախատեսված են օբյեկտիվորեն ստուգելու նրանց ինտելեկտը:

Փորձի նպատակներից մեկը եղել է գնահատել, թե որքանով է ԱԲ-ն ունակ ստեղծել քայլ առ քայլ հրահանգներ Նյու Յորքի փողոցներով տեղաշարժվելու համար: Թեև գեներատիվ ԱԲ մոդելները ցուցադրում են իրենց շրջապատող աշխարհի օրենքների «անուղղակի» ուսուցման որոշակի աստիճան, սա իրական ընկալմանը համարժեք չէ: Գնահատման ճշգրտությունը բարելավելու համար հետազոտողները ստեղծել են ֆորմալացված մեթոդներ, որոնք թույլ են տալիս վերլուծել, թե որքան ճիշտ է ԱԲ-ն ընկալում և մեկնաբանում իրական իրավիճակները:

MIT-ի ուսումնասիրությունը կենտրոնացած է տրանսֆորմերների վրա՝ գեներատիվ ԱԲ մոդելի մի տեսակ, որն օգտագործվում է հանրաճանաչ ծառայություններում, ինչպիսին է GPT-4-ը: Տրանսֆորմերները վերապատրաստվում են տեքստային տվյալների հսկայական զանգվածների վրա, ինչը նրանց թույլ է տալիս հասնել բառերի հաջորդականության ընտրության բարձր ճշգրտության և ստեղծել արժանահավատ տեքստեր:

Նման համակարգերի հնարավորությունները հետագայում ուսումնասիրելու համար գիտնականներն օգտագործել են խնդիրների դաս, որը հայտնի է որպես Deterministic Finite Automaton (DFA)։ Այն ներառում է այնպիսի ոլորտներ, ինչպիսիք են տրամաբանությունը, աշխարհագրական նավիգացիան, քիմիան և նույնիսկ ռազմավարությունը խաղերում: Փորձի ընթացքում հետազոտողներն ընտրել են երկու տարբեր առաջադրանքներ՝ մեքենա վարել Նյու Յորքի փողոցներում և խաղալ «Օթելլո», որպեսզի փորձարկեն, թե որքանով է ԱԲ-ն կարողանում ճիշտ հասկանալ այս խաղերի հիմքում ընկած կանոնները։

Ինչպես նշել է Հարվարդի համալսարանի գիտաշխատող Քեյոն Վաֆան, փորձի հիմնական նպատակն էր ստուգել ԱԲ մոդելների կարողությունը՝ վերակառուցելու բարդ համակարգերի ներքին տրամաբանությունը։ «Մեզ պետք էին փորձարարական հարթակներ, որտեղ մենք հստակ գիտեինք, թե ինչպիսին է աշխարհի մոդելը: Այժմ մենք կարող ենք խստորեն մտածել, թե ինչ է նշանակում վերականգնել աշխարհի այս մոդելը»։

Փորձի արդյունքները ցույց են տվել, որ տրանսֆորմերները կարողանում են ճիշտ երթուղիներ տրամադրել և առաջարկել ճիշտ քայլեր «Օթելլո» խաղում, երբ առաջադրանքների պայմանները հստակորեն սահմանված են: Այնուամենայնիվ, երբ ավելացվել են բարդ գործոններ, ինչպիսիք են Նյու Յորքում շրջանցող ճանապարհները, ԱԲ մոդելներն սկսել են ստեղծել անտրամաբանական երթուղիներ՝ առաջարկելով պատահական անցումներ, որոնք իրականում գոյություն չունեին:

MIT-ի ուսումնասիրությունը ցույց է տվել, որ գեներատիվ ԱԲ մոդելներ հիմնարար սահմանափակումներ ունեն, հատկապես այն առաջադրանքներում, որոնք պահանջում են մտքի ճկունություն և իրական աշխարհի պայմաններին հարմարվելու ունակություն: Թեև ԱԲ առկա մոդելները կարող են տպավորիչ լինել արժանահավատ պատասխաններ ստեղծելու ունակությամբ, դրանք շարունակում են մնալ պարզապես կանխատեսող գործիքներ և ոչ լիովին խելացի համակարգեր: