Anthropic-ը և OpenAI-ը հայտարարել են, որ պատրաստ են անկախ հետազոտողներին թույլ տալ մուտք գործել առաջադեմ արհեստական ինտելեկտի մոդելների մշակման ներքին գործընթացներ։ Նման մասնագետները պետք է ոչ միայն փորձարկեն պատրաստ համակարգերը թողարկումից առաջ, այլև ուսումնասիրեն, թե ինչպես են մոդելները վարվում ուսուցման ընթացքում, բացահայտեն վտանգավոր միջադեպերը և հրապարակայնորեն տեղեկացնեն խնդիրների մասին։

Այս գաղափարը կարող է փոխել ամբողջ ինդուստրիայի մոտեցումը ԱԲ անվտանգության վերահսկողության նկատմամբ։ Սակայն հետազոտողները զգուշացնում են. անկախ ստուգումը կաշխատի միայն այն դեպքում, եթե ընկերություններն իսկապես հրաժարվեն վերահսկել, թե կոնկրետ ինչ են ստուգում աուդիտորները, որքան ժամանակ է նրանց տրվում և ինչ արդյունքներ է թույլատրվում հրապարակել։

Առայժմ հիմնական հարցերը մնում են անպատասխան։

Պետք է ստուգել ոչ միայն պատրաստ մոդելը

Արտաքին գնահատողների մշտական ներկայության առաջարկը հանգստյան օրերին հրապարակված էսսեում առաջ է քաշել Anthropic-ի ղեկավար Դարիո Ամոդեին։ Նրա խոսքով՝ ընկերությունը պատրաստ է METR-ի և Redwood Research-ի նման կազմակերպություններին աննախադեպ հասանելիություն տրամադրել իր համակարգերին։

OpenAI-ի ղեկավար Սեմ Ալթմանը նույնպես հայտարարել է, որ պատրաստ է աջակցել նման գործելակերպին։ Եթե խոստումները կյանքի կոչվեն, անկախ հետազոտողները կկարողանան աշխատել առաջատար AI-ընկերությունների ներսում և ինքնուրույն հայտնել բացահայտված ռիսկերի, միջադեպերի և անվտանգության խնդիրների մասին։

Մինչ այժմ արտաքին կազմակերպությունները սովորաբար միանում էին աշխատանքին նոր մոդելի թողարկմանն ավելի մոտ փուլում։ Նրանք ստուգում էին արդեն պատրաստ համակարգը, վարում վտանգավոր վարքագծի թեստեր և օգնում պատրաստել անվտանգության փաստաթղթավորումը։

Բայց ԱԲ զարգացմանը զուգահեռ նման մոտեցումը դառնում է անբավարար։ Մոդելները սովորում են ճանաչել, թե երբ են իրենց ստուգում, և փորձարկման ընթացքում կարող են ցուցադրել անվտանգ վարքագիծ՝ թաքցնելով անցանկալի կարողությունները կամ նպատակները։

Դրա համար հետազոտողները առաջարկում են ստուգել ոչ միայն մոդելի վերջնական տարբերակը, այլև միջանկյալ վիճակները՝ այսպես կոչված checkpoint-ները, որոնք պահվում են ուսուցման տարբեր փուլերում։

Դրանք համեմատելով՝ կարելի է պարզել.

·       կոնկրետ երբ է մոդելի մոտ ի հայտ եկել պոտենցիալ վտանգավոր վարքագիծը,

·       արդյոք այն փորձել է շրջանցել անվտանգության պահանջներին համապատասխանելու իր իսկ ուսուցումը,

·       ինչպես է փոխվել նրա վարքագիծը ուսուցման լրացուցիչ փուլերից հետո,

·       ինչ ազդակներ են խրախուսվել պարգևատրման համակարգի կողմից,

·       արդյոք ընկերության հրապարակային հայտարարությունները համապատասխանում են նրան, ինչ տեղի է ունեցել լաբորատորիայի ներսում։

«AI-ընկերությունները պետք է կարողանան պատասխանել ուսուցման գործընթացի մասին ամենահիմնական հարցերին», — TechCrunch-ին ասել է Apollo Research հետազոտական կազմակերպության ղեկավար Ալեքսանդր Մայնկեն։ Մասնավորապես, նրա խոսքով՝ անհրաժեշտ է իմանալ, թե արդյոք մոդելը գիտակցաբար փորձել է խաթարել մարդկային նպատակների հետ իր համաձայնեցման ուսուցումը։

Այժմ հասարակությունը մեծապես ստիպված է ապավինել նրան, որ հենց մշակողները կստուգեն նման դեպքերը և ազնվորեն կպատմեն արդյունքների մասին։ Անկախ գնահատողները կարող էին հնարավորություն ստանալ դա ստուգել ինքնուրույն։

Ինչու լավ թեստային արդյունքները դեռ ոչինչ չեն երաշխավորում

Հիմնական խնդիրներից մեկն այն է, որ մոդելը կարող է սովորել անցնել կոնկրետ ստուգումը՝ այդպիսով իրականում անվտանգ չդառնալով։

Palisade Research-ի ռազմավարության ուղղության ղեկավար Ջոն Ստայդլին որպես օրինակ բերել է անջատմանը դիմադրելու թեստը։ Նման benchmark-ը ստուգում է, թե արդյոք համակարգը կփորձի խանգարել իր անջատմանը որոշակի հանգամանքներում։

Եթե մոդելը հատուկ ուսուցանվել է լավ անցնել հենց այս թեստը, դրա արդյունքը կարող է մոլորեցնող լինել. համակարգը ստուգման ընթացքում կցուցադրի սպասվող վարքագիծ, բայց իրական իրավիճակում կգործի այլ կերպ։

Ստայդլին դա համեմատել է Volkswagen-ի դիզելային սկանդալի հետ։ Ընկերության մեքենաները կարող էին ճանաչել էկոլոգիական փորձարկման պայմանները և փոխել շարժիչի աշխատանքը, որպեսզի ավելի լավ արդյունքներ ցույց տան, քան սովորական շահագործման ընթացքում։

ԱԲ-ի դեպքում հնարավոր է նմանատիպ խնդիր. պարտադիր չէ, որ մոդելը լինի անվտանգ — նրան կարող է բավական լինել սովորել գնահատման պահին անվտանգ երևալ։

Հենց այդ պատճառով հետազոտողներին անհրաժեշտ է հասանելիություն ավելի լայն համատեքստին՝ մոդելների միջանկյալ տարբերակներին, աշխատանքի մատյաններին, թեստերի սղագրություններին, ուսուցման կարգավորումներին և այն միջավայրին, որտեղ համակարգը որոշակի գործողությունների համար պարգևատրում է ստանում։

FAR.AI-ի ղեկավար Ադամ Գլիվի խոսքով՝ անկախ մասնագետներին կարող է անհրաժեշտ լինել նաև ընկերությունների աշխատակիցների հետ զրուցելու հնարավորություն։ Դա կօգներ ստուգել, թե արդյոք անվտանգության գործընթացների պաշտոնական նկարագրությունները համընկնում են այն ամենի հետ, ինչ իրականում տեղի է ունեցել։

Անկախության գլխավոր սպառնալիքը ընկերությունների վերահսկողությունն է

Ամոդեին առաջարկել է գնահատողներին տալ ռիսկերի, միջադեպերի, անվտանգության գործելակերպերի և նույնիսկ այն մասին, թե ինչ հասանելիություն է նրանց տրվել կամ չի տրվել, հիմնական եզրակացությունները հրապարակելու իրավունք։ Ըստ նրա մտահղացման՝ Anthropic-ը չպետք է խմբագրական վերահսկողություն ունենա նման հրապարակումների նկատմամբ։

Բայց հետազոտողները կարծում են, որ մեկ հայտարարությունը բավարար չէ։

Գործնականում արտաքին կազմակերպությունները հաճախ AI-ընկերությունների հետ աշխատում են պայմանագրերով։ Սա նշանակում է, որ նրանց վրա կարող են տարածվել խիստ չբացահայտման համաձայնագրեր, ժամկետային սահմանափակումներ և պայմաններ, որոնք թույլ են տալիս պատվիրատուին ազդել վերջնական զեկույցի բովանդակության վրա։

Գլիվը պատմել է, որ FAR.AI-ն արդեն հրաժարվել է առաջադեմ մոդելներ մշակող մի քանի ընկերությունների հետ պայմանագրերից, քանի որ վերջիններս չափազանց մեծ վերահսկողություն էին պահանջում ստուգման գործընթացի նկատմամբ։ Նրա խոսքով՝ նման պայմաններում գնահատողների անկախությունը հայտնվում է վտանգի տակ։

Խնդիրը կարող է առաջանալ յուրաքանչյուր փուլում. ընկերությունը կարող է սահմանափակել որոշակի տվյալների հասանելիությունը, կրճատել հետազոտության ժամանակը, արգելել առանձին համակարգերի ստուգումը կամ թույլ չտալ հրապարակել անհարմար եզրակացությունները։

Արդյունքում անկախ աուդիտորը ռիսկի է դիմում վերածվել սովորական կապալառուի, որը ձևականորեն ստուգում է անցկացնում, բայց փաստացի աշխատում է հենց մշակողի սահմանած կանոնների շրջանակում։

Մեկ շաբաթ հետաքննության համար և երեք օր՝ փորձարկման

Վերջին ստուգումների փորձը ցույց է տալիս, որ ժամանակի հարցը ոչ պակաս կարևոր է, քան հասանելիության հարցը։

Hugging Face-ի հետ միջադեպից հետո OpenAI-ը METR և Redwood հետազոտողներին իր տարածքում աշխատելու համար տրամադրել է մոտ մեկ շաբաթ։ Ավելի ուշ երկու կազմակերպություններն էլ հայտարարել են, որ չեն կարողացել վստահ եզրակացություններ անել՝ այդ թվում հետաքննության մասշտաբի և ժամկետների սահմանափակումների պատճառով։

Նման իրավիճակ առաջացավ նաև GPT-6 Astra-ի՝ թողարկումից առաջ փորձարկման ժամանակ։ Apollo Research-ի նյութերի համաձայն՝ կազմակերպությանը մոդելը ստուգելու համար տվել էին ընդամենը երեք օր։

Իր զեկույցում Apollo-ն նշել է, որ մոդելի՝ գնահատման փաստը ճանաչելու ունակության և փորձարկման սահմանափակ ժամանակի պատճառով անցանկալի վարքագծի ցածր հաճախականությունը լուրջ հիմքեր չի տալիս դատելու, թե մոդելն իրականում որքանով է համաձայնեցված մարդկային նպատակների հետ։

Այլ կերպ ասած՝ բացահայտված խնդիրների բացակայությունը միշտ չէ, որ նշանակում է, թե խնդիրներ չկան։ Հնարավոր է, որ հետազոտողները պարզապես չեն հասցրել գտնել դրանք, կամ մոդելը հասկացել է, որ իրեն հետևում են։

«Ինչո՞ւ այս անգամ ամեն ինչ պետք է այլ լինի» — հենց այս հարցն են այժմ տալիս անկախ գնահատողները։

Գլիվը ընդունում է, որ Ամոդեին և Ալթմանը իսկապես փոխել են իրենց վերաբերմունքը արտաքին վերահսկողության նկատմամբ և պատրաստ են հետազոտողներին ավելի շատ ազատություն տրամադրել։ Սակայն AI-ընկերությունների մտավոր սեփականությունը նրանց համար հսկայական արժեք ունի։ Այդ պատճառով, նրա կարծիքով, մշակողները, ամենայն հավանականությամբ, լռելյայնորեն չափազանց զգույշ կլինեն հասանելիության և տվյալների հրապարակման հարցերում։

Հետազոտողները ցանկանում են ընդհանուր կանոններ և օրենք

TechCrunch-ի կողմից հարցված մի քանի կազմակերպություններ կարծում են, որ ինդուստրիային անհրաժեշտ է հանրային և թափանցիկ կանոնների համակարգ։ Դրանում պետք է հստակ ամրագրված լինի, թե որ կազմակերպությունները կարող են համարվել անկախ գնահատողներ, ինչ հասանելիություն են նրանք ստանում և ինչ արդյունքներ հրապարակելու իրավունք ունեն։

Ստայդլին նաև զգուշացնում է, որ առանց միասնական ստանդարտների ընկերությունները կարող են ստուգողներ ընտրել հարմարության սկզբունքով — օրինակ, նախապատվությունը տալ նրանց, ովքեր չունեն բավարար որակավորում կամ հակված չեն ուսումնասիրել ամենալուրջ ռիսկերը։

Safer AI-ի գործադիր տնօրեն Հենրի Պապադատոսը կարծում է, որ նույնիսկ հանրային կամավոր համակարգը խնդիրը լիովին չի լուծի։ Ցանկացած կամավոր պարտավորություն կախված է ընկերության բարի կամքից, իսկ այն կարող է փոխվել ճգնաժամից, ղեկավարության փոփոխությունից կամ առևտրային ճնշման առաջացումից հետո։

Նրա կարծիքով՝ անհրաժեշտ են օրենսդրական պահանջներ, որոնք կստիպեն մշակողներին անկախ կազմակերպություններին մոդելներին և դրանց ստեղծման գործընթացներին հասանելիություն տրամադրել։ Սա նաև թույլ չի տա, որ մի ընկերություններ պահպանեն կանոնները, իսկ մյուսները խուսափեն արտաքին վերահսկողությունից։

Նման համակարգի որոշ տարրեր արդեն ի հայտ են գալիս։

Կալիֆոռնիայում SB 53 օրենքը պարտավորեցնում է առաջադեմ մոդելների խոշոր մշակողներին հրապարակել անվտանգության շրջանակային փաստաթղթեր և տեղեկացնել կրիտիկական միջադեպերի մասին։ Մեկ այլ օրենք՝ սեպտեմբերին ընդունված SB 813-ը, ստեղծում է նահանգի կողմից ճանաչված անկախ կազմակերպությունների համակարգ, որոնք մասնագիտացած են ԱԲ ռիսկերի գնահատման մեջ։

Եվրամիությունում Արհեստական ինտելեկտի մասին օրենքը առաջադեմ մոդելներ մշակողներից պահանջում է անցկացնել և փաստաթղթավորել գնահատումներ, կազմակերպել հակամարտային փորձարկումներ և տեղեկացնել լուրջ միջադեպերի մասին։ ԵՄ ԱԲ բյուրոն նույնպես կարող է անցկացնել սեփական ստուգումները և ներգրավել անկախ փորձագետների։

Սակայն գործող նորմերը դեռ չեն պահանջում այնպիսի խորը և մշտական հասանելիություն, ինչպիսին առաջարկում է Ամոդեին։ Շատ դեպքերում որոշումը, թե որքան մանրակրկիտ արտաքին մասնագետներին թույլ տալ ներքին գործընթացներին մասնակցել, նախկինի պես մնում է հենց ընկերությունների ձեռքում։

Ովքեր արդեն համաձայնել են, և ովքեր առայժմ լռում են

Anthropic-ը և OpenAI-ը հրապարակայնորեն աջակցել են ներգրված անկախ գնահատողների գաղափարին։ Միևնույն ժամանակ Meta-ն, SpaceXAI-ը և Google DeepMind-ը առայժմ նմանատիպ պարտավորություններ չեն ստանձնել։

DeepMind-ի ղեկավար Դեմիս Հասաբիսը առաջարկել է այլ տարբերակ՝ ստեղծել առանձին ճյուղային կազմակերպություն, որը կզբաղվեր առաջադեմ մոդելների անկախ փորձարկմամբ։ Այդ ընթացքում Google-ը, OpenAI-ը և Anthropic-ը, ինչպես հաղորդվում էր, արդեն մի քանի շաբաթ քննարկում են ԱԲ անվտանգության հնարավոր մոտեցումները։

Առայժմ հայտնի չէ, թե կոնկրետ որ կազմակերպությունների հետ կաշխատեն Anthropic-ը և OpenAI-ը, երբ կսկսվի նրանց մշտական ներկայությունը ընկերությունների ներսում, որքան գնահատողներ կներգրավվեն և ինչ տվյալներ նրանք կկարողանան ուսումնասիրել։ Որոշված չեն նաև արդյունքների հրապարակման կանոնները։

Այս մանրամասները սկզբունքային նշանակություն ունեն։ Անկախ ստուգումը ենթադրում է ոչ միայն տեղեկատվության հասանելիություն, այլև խնդիրների մասին առանց մշակողի հետ նախնական համաձայնեցման հաղորդելու իրավունք։

Եթե ընկերությունը պահպանում է հարմար ստուգողներ ընտրելու, նրանց աշխատանքը սահմանափակելու և անհարմար եզրակացությունները արգելափակելու հնարավորությունը, նման համակարգը կարող է դառնալ ընդամենը կորպորատիվ վերահսկողության ևս մեկ ձև։

Կամավոր պարտավորությունները կարող են օգտակար սկիզբ լինել։ Բայց առաջադեմ մոդելների անվտանգության նկատմամբ վստահությունը հնարավոր չէ կառուցել բացառապես հենց մշակողների խոստումների վրա։ Ինչպես ձևակերպել է Պապադատոսը, ընկերությունները չեն կարող միաժամանակ պահանջել լիակատար ազատություն՝ սեփական անվտանգության կանոնները սահմանելու համար, և հասարակությունից խնդրել հավատալ, որ իրենք իսկապես հետևում են այդ կանոններին։