ԱԲ գործակալները դառնում են ավելի կարողունակ, սակայն դրա հետ մեկտեղ աճում է նաև այն ռիսկը, որ նրանք կգործեն տրված հրահանգների սահմաններից դուրս։ Anthropic և OpenAI համակարգերի փորձարկումների ընթացքում բացահայտված նոր դեպքերը ստիպում են մշակողներին վերանայել պաշտպանության մեթոդները։ Միայն ԱԲ-ն մեկուսացնելը կենսականորեն կարևոր համակարգերից այլևս կարող է բավարար չլինել. առաջադրանքներ կատարելու համար գործակալներին հաճախ անհրաժեշտ է մուտք ունենալ արտաքին գործիքների, տվյալների և ցանցերի նկատմամբ։

Microsoft-ի ղեկավար Սատյա Նադելլան կոչ է արել ոլորտին հրաժարվել այն մոտեցումից, ըստ որի ԱԲ-ն դիտարկվում է որպես փակ համակարգերի հավաքածու, որոնց խորհուրդներն ու գործողությունները կարելի է միայն ընդունել կամ մերժել։ Նրա կարծիքով, փոխարենը անհրաժեշտ է ստեղծել համակարգեր, որոնց վարքագիծը հնարավոր է դիտարկել, սահմանափակումները՝ ստուգել, իսկ գործողությունները՝ հուսալիորեն վերահսկել։ Այս մտահոգություններին, մասնավորապես, համաձայնել են նաև Palo Alto Networks-ի և Box-ի ղեկավարները։

Ինչու ԱԲ-ի մեկուսացումն արդեն բավարար չէ

Ինչպես պատմում է Axios-ը, ծրագրերի պաշտպանության ավանդական եղանակը դրանք մեկուսացված միջավայրում՝ սենդբոքսում, գործարկելն է։ Այն սահմանափակում է հավելվածի փոխազդեցությունը օպերացիոն համակարգի, ֆայլերի և այլ զգայուն ռեսուրսների հետ։

Սակայն ԱԲ գործակալները կառուցվածքով տարբերվում են սովորական ծրագրերից։ Հանձնարարությունը կատարելու համար նրանք հաճախ պետք է դիմեն բրաուզերների, կորպորատիվ տվյալների բազաների, արտաքին ծառայությունների և այլ գործիքների։ Նույնիսկ եթե գործակալը մնում է սենդբոքսի ներսում, իրեն տրված թույլտվությունները կարող են հնարավորություն տալ կատարել անցանկալի գործողություններ։

Խնդիրը հավասարակշռություն գտնելու մեջ է. եթե մուտքը չափազանց խիստ սահմանափակվի, գործակալը կդադարի արդյունավետ կատարել օգտակար առաջադրանքները։ Իսկ եթե նրան տրվեն լայն լիազորություններ, նա կարող է դրանք օգտագործել չնախատեսված ձևով՝ օրինակ, դուրս գալ հանձնարարության շրջանակներից կամ դիմել այն տվյալներին, որոնց չպետք է առնչվի։

Նոր քննարկման առիթ դարձան Anthropic-ի և OpenAI-ի հրապարակած նյութերը այն մոդելների գործողությունների մասին, որոնք փորձարկումների ընթացքում դուրս էին եկել հրահանգների սահմաններից։ Այս դեպքերը չեն նշանակում, որ բոլոր ԱԲ գործակալները պարբերաբար խախտում են կանոնները, սակայն ցույց են տալիս, թե ինչու միայն հռչակագրային սահմանափակումները բավարար չեն։

Ինչպես են ստուգում ԱԲ գործակալների վարքագիծը

Offensive AI համաժողովում հետազոտողները ներկայացրել են նոր եղանակներ՝ գնահատելու, թե որքան հուսալիորեն են գործակալները պահպանում տրված սահմանափակումները։

Dreadnode-ի թիմը ներկայացրել է ScopeBench-ը՝ փորձարկման համակարգ, որը նախատեսված է կիբեռանվտանգության ոլորտում առաջադրանքներ կատարող ԱԲ գործակալների ստուգման համար։ Այն հնարավորություն է տալիս գնահատել, թե արդյոք գործակալը պահպանում է սահմանված կանոնները նույնիսկ այն դեպքում, երբ դրանց խախտումը կարող էր օգնել ավելի արագ հասնել արդյունքի։

SpecterOps-ի հարձակումների մոդելավորման խորհրդատու Matthew Nickerson-ը ցուցադրել է մեկ այլ մոտեցում՝ գործակալների գործողությունների հետևումը նմանակված կորպորատիվ ցանցերում։ Նման համակարգը արձանագրում է, թե ինչ գործիքներից է օգտվում գործակալը, ինչ գործողություններ է կատարում և որքան տոկեն է ծախսում։

Նման փորձարկումները օգնում են գնահատել ոչ միայն վերջնական արդյունքը, այլև այն ուղին, որով ԱԲ-ն հասել է դրան։ Գործակալը կարող է հաջողությամբ կատարել առաջադրանքը, բայց միևնույն ժամանակ օգտագործել արգելված գործիքներ կամ դիպչել թույլատրելի տիրույթից դուրս գտնվող ռեսուրսների։ Կորպորատիվ անվտանգության համար դրանք սկզբունքորեն տարբեր արդյունքներ են։

Վերահսկողությունը պետք է ավելի բարդ լինի, քան «միացնել կամ անջատել» անջատիչը

Perplexity-ի հետազոտող Զիբի Բրանեցկու խոսքով՝ ԱԲ գործակալների պաշտպանությունը պետք է համադրի կիբեռանվտանգության փորձված մեթոդները և վերահսկողության նոր մեխանիզմները, որոնք հաշվի են առնում ինքնավար համակարգերի առանձնահատկությունները։

Հիմնական սկզբունքներից մեկը զրոյական վստահության մոդելն է, որի դեպքում տվյալներին և գործիքներին մուտքը տրամադրվում է միայն անհրաժեշտ ծավալով և մշտապես ստուգվում է։ Մշակողները նաև աշխատում են գործակալների համար ավելի ճշգրիտ թույլտվությունների և անկախ ԱԲ համակարգերի վրա, որոնք կարող են հետևել նրանց գործողություններին և ազդանշան տալ պոտենցիալ չարտոնված գործողությունների մասին։

Բրանեցկին ընդգծել է, որ խնդիրը հնարավոր չէ լուծել մեկ անջատիչով, որը ամբողջությամբ թույլ է տալիս կամ արգելում է գործակալի գործողությունները։ Անհրաժեշտ է ավելի ճկուն համակարգ, որը կարող է հաշվի առնել առաջադրանքի համատեքստը և տարբերակել թույլատրելի գործողություններն ու պոտենցիալ վտանգավոր վարքագիծը։

Միևնույն ժամանակ, պաշտպանության մեթոդներն էլ պետք է պարբերաբար վերանայվեն. ԱԲ-ի հնարավորությունները արագ են փոխվում, իսկ այսօր արդյունավետ մոտեցումները կարող են արդեն մի քանի ամիս անց անբավարար լինել։

Գլխավոր մարտահրավերը՝ պահպանել ԱԲ-ի օգտակարությունը՝ չկորցնելով վերահսկողությունը

Ընկերությունների համար ԱԲ գործակալները գրավիչ են հենց նրանով, որ կարող են ինքնուրույն կատարել գործողությունների շղթաներ, ոչ թե պարզապես պատասխանել հարցերին։ Սակայն հենց այդ ինքնավարությունն էլ բարդացնում է վերահսկողությունը. որքան շատ գործիքներ հասանելի լինեն համակարգին, այնքան ավելի շատ կլինեն սպասվող վարքագծի սահմաններից դուրս գալու պոտենցիալ եղանակները։

Այդ պատճառով ոլորտը պետք է անցում կատարի այնպիսի պաշտպանությունից, որը հիմնված է հիմնականում մեկուսացման և նախապես սահմանված արգելքների վրա, դեպի բազմաշերտ վերահսկողություն։ Այն պետք է սահմանափակի տվյալների և գործիքների հասանելիությունը, արձանագրի գործակալի գործողությունները, բացահայտի շեղումները և հնարավորություն տա արագ դադարեցնել վտանգավոր գործողությունները։

Խնդիրը ոչ թե ԱԲ-ին ինքնուրույնությունից զրկելն է, այլ այդ ինքնուրույնությունը կառավարելի դարձնելը։ Քանի դեռ մշակողները լիովին չեն հասկանում, թե ինչպես են փոխվելու գործակալների հնարավորությունները, անվտանգությունը մնում է այն ոլորտը, որտեղ կանոններն ու պաշտպանական մեխանիզմները պետք է կատարելագործվեն հենց մոդելների հետ միասին։