ԱԲ գործիքները, որոնք պետք է արագացնեն կիբեռհարձակումների հետաքննությունը, կարող են հանկարծ հրաժարվել վերլուծել կասկածելի կոդը—even այն դեպքում, երբ դրանք օգտագործում են մասնագետներ, որոնք փորձում են պաշտպանել իրենց սեփական համակարգերը։ Ինչպես գրում է Axios-ը, այս խնդրին բախվել է OpenCode թիմը իրենց ծառայության կոտրումից հետո։ Միջադեպը բացահայտել է կիբեռանվտանգության համար ԱԲ-ի զարգացման հակասությունը․ սահմանափակումները, որոնք կոչված են խանգարելու չարամիտներին, միաժամանակ կարող են պաշտպաններին զրկել կարևոր գործիքներից։

OpenCode-ը ենթարկվել է հարձակման և կորցրել հասանելիության բանալիների մի մասը

OpenCode-ը բաց կոդով նախագիծ է, որի մշակողները ստեղծել են ծրագրավորման համար նախատեսված ԱԲ գործակալ։ Ընկերության հայտարարության համաձայն՝ վերջին միջադեպի հետևանքով չարագործները հասանելիություն են ստացել որոշ օգտատերերի API բանալիներին, այդ թվում՝ OpenAI, Anthropic և Google ծառայությունների բանալիներին։

Ընկերությունը արտահոսքը կապել է ԱԲ մոդելների դիստիլացիային ուղղված լայնածավալ հարձակման հետ։ OpenCode-ի տվյալներով՝ միջադեպը ազդել է OpenCode Console-ի օգտատերերի 1,4%-ի վրա։

Դիստիլացիան ուսուցման մեթոդ է, որի դեպքում մեկ մոդելն ընդունում է մյուս՝ ավելի հզոր մոդելի կարողությունները։ Սակայն Axios-ի հրապարակված նյութում հարձակման մեխանիզմի և այն բանի մասին, թե ինչպես այն հանգեցրել է բանալիների компрометации-ին, մանրամասներ չեն ներկայացվում։

OpenCode-ի համահիմնադիր Դաքս Ռաադը հայտնել է, որ չարագործները 48 ժամ անընդմեջ հարձակվել են նախագծի ենթակառուցվածքի վրա։ Նրանց հակազդելու համար թիմը ստիպված է եղել շուրջօրյա օգտագործել սեփական ԱԲ գործակալներին։

OpenAI-ը, Google-ը և Anthropic-ը հայտարարել են, որ օգնել են տուժած հաճախորդներին հետ կանչել բացահայտված բանալիները և պարզել API-ի օգտագործման հետ կապված չարտոնված ծախսերը։

Սակայն հետաքննության ընթացքում ի հայտ է եկել ևս մեկ խնդիր․ գործիքները, որոնք պետք է օգնեին թիմին հասկանալ հարձակումը, սկսել են հրաժարվել կատարել հարցումները։

Ինչու է ԱԲ-ն հրաժարվում վերլուծել վնասաբեր կոդը

Ռաադի խոսքով՝ սկզբում առաջատար ԱԲ մոդելներն օգնում էին հետաքննել միջադեպը, սակայն հետո սկսեցին արգելափակել հարցումները։ Անվտանգության սահմանափակումները գործարկվում էին, երբ վերլուծությունը առնչվում էր պոտենցիալ վնասաբեր կոդին։

Մշակողների համար սա պարադոքսային իրավիճակ է ստեղծել։ Որպեսզի հասկանան հարձակվողների գործողությունները և գտնեն խոցելիությունները, անվտանգության մասնագետները հաճախ ստիպված են ուսումնասիրել նույն մեթոդներն ու կոդի հատվածները, որոնք կարող են օգտագործվել կոտրման համար։ Սակայն մոդելը միշտ չէ, որ ի վիճակի է հուսալիորեն տարբերակել պաշտպանական հետաքննությունը հարձակում իրականացնելու փորձից։

ԱԲ մշակողների սահմանած սահմանափակումները կոչված են խոչընդոտելու հզոր մոդելների օգտագործումը վնասաբեր ծրագրերի ստեղծման և կիբեռհարձակումների իրականացման համար։ Խնդիրն այն է, որ նույն տեխնիկական հարցումը կարող է ունենալ և՛ պաշտպանական, և՛ հանցավոր նպատակ։ Եթե համակարգը գնահատում է նախևառաջ հարցման բովանդակությունը՝ հաշվի չառնելով մասնագետի աշխատանքի համատեքստը, այն վտանգում է արգելափակել նաև օրինական առաջադրանքը։

Արդյունքում OpenCode-ը հասանելիություն է ստացել OpenAI Daybreak Blue ծրագրին, որը նախատեսված է ստուգված կիբեռանվտանգության մասնագետների համար։ Այն պաշտպաններին տրամադրում է մոդելների հասանելիություն՝ տեղեկատվական անվտանգության խնդիրների հետ աշխատելիս ավելի մեղմ սահմանափակումներով։

Ռաադը խոստովանել է, որ ընկերությունը պետք է գործի կանխարգելիչ կերպով, և հայտնել է, որ մի քանի օրվա ընթացքում թիմը կատարել է բազմաթիվ բարելավումներ։

Պաշտպանները ստիպված են փնտրել փակ մոդելների այլընտրանքներ

Խնդիրը միայն OpenCode-ով չի սահմանափակվում։ Ինչպես նշում է Axios-ը, կիբեռանվտանգության մասնագետները բախվում են ընտրության անհրաժեշտությանը՝ հզոր փակ մոդելների միջև, որոնց հնարավորությունները սահմանափակված են ներկառուցված անվտանգության կանոններով, և բաց կշիռներով մոդելների միջև, որոնք ավելի շատ վերահսկողություն են տալիս օգտագործման և կարգավորման վրա։

Ցուցիչ է նաև Hugging Face-ի դեպքը։ Երբ ընկերությունը հայտնաբերել է կասկածելի ակտիվություն իր համակարգերում, որը հետագայում կապել է հենց OpenAI-ի գործակալների հետ, նրա անվտանգության թիմը բախվել է առաջատար մոդելների սահմանափակումներին և հետաքննության համար դիմել է բաց կշիռներով չինական մոդելի։

Բաց կշիռներով մոդելները թույլ են տալիս օգտատերերին ինքնուրույն տեղակայել դրանք և ավելի մեծ չափով վերահսկել աշխատանքի պայմանները։ Սա կարող է օգտակար լինել այն իրավիճակներում, երբ մասնագետներին անհրաժեշտ է վերլուծել բարդ վնասաբեր ծրագրեր կամ ուսումնասիրել հարձակումների մեթոդները՝ առանց մոդելի մատակարարի կողմից մշտական մերժումների։

Սակայն օգտագործման ավելի մեծ ազատությունն ունի նաև հակառակ կողմը․ որքան քիչ սահմանափակումներ են գործում մոդելի տեղակայման ժամանակ, այնքան ավելի մեծ պատասխանատվություն է չարաշահումները կանխելու համար ընկնում այն օգտագործողների վրա։

Ուստի փակ և բաց մոդելների միջև ընտրությունը պարզապես արտադրողականության հարց չէ։ Անվտանգության թիմերի համար այն դառնում է գործիքի հուսալիության հարց՝ վճռական պահին։

Ինչպես գտնել հավասարակշռություն պաշտպանության և սահմանափակումների միջև

ԱԲ մշակողները կանգնած են բարդ խնդրի առաջ։ Եթե սահմանափակումները չափազանց թուլացվեն, չարագործները կկարողանան օգտագործել մոդելների հնարավորությունները հարձակումներ նախապատրաստելու համար։ Իսկ եթե զտիչները չափազանց խիստ լինեն, օրինապահ մասնագետները վտանգում են կորցնել հասանելիությունը նույն հնարավորություններին հենց այն ժամանակ, երբ պետք է արագ արձագանքեն միջադեպին։

Հնարավոր մոտեցումներից մեկը ընդլայնված հնարավորություններ տրամադրելն է ոչ թե բոլոր օգտատերերին անխտիր, այլ ստուգված մասնագետներին և կազմակերպություններին։ Daybreak Blue ծրագիրը, որին միացել է OpenCode-ը, նման մոտեցման օրինակ է։

Սակայն հատուկ ծրագրերի գոյությունն ինքնին ամբողջությամբ չի լուծում խնդիրը։ Թիմերը պետք է հասկանան, թե ինչ գործիքներ են իրենց հասանելի հետաքննության ընթացքում, որոնք են դրանց հնարավորությունների սահմանները և ինչով կարելի է փոխարինել մոդելը, եթե այն հրաժարվի կատարել կենսականորեն կարևոր առաջադրանքը։

Ինչպես Axios-ին հայտարարել է Nightwing ընկերության տեխնիկական տնօրեն Քրիս Ջոնսը, ոլորտը դեռ պետք է որոշի, թե ինչպես կարգավորել այս հակադրությունը տեխնոլոգիաների զարգացման հետ մեկտեղ։

Քանի որ ԱԲ-ն դառնում է գործիք ոչ միայն ծրագրային ապահովման ստեղծման, այլև հարձակումների հետաքննության համար, դրա օգտակարությունը կախված կլինի ոչ միայն հզորությունից։ Ոչ պակաս կարևոր է, թե արդյոք մոդելը կկարողանա օգնել մասնագետին բարդ իրավիճակում՝ համակարգերը լրացուցիչ ռիսկի չենթարկելով։ Պաշտպանական մեխանիզմները պետք է խոչընդոտեն չարաշահումներին, բայց միաժամանակ հաշվի առնեն, որ վնասաբեր կոդի վերլուծությունն ինքնին դեռ չի նշանակում վնաս պատճառելու մտադրություն։