Исследователь компании Anthropic Джейкоб Коксон подал в отставку, заявив, что ведущие лаборатории искусственного интеллекта ведут опасную гонку к самосовершенствующимся системам и тем самым рискуют жизнями людей. Об уходе сообщила The Wall Street Journal, отметив, что это один из первых публичных случаев, когда сотрудник Anthropic покинул компанию именно из‑за опасений по поводу безопасности ИИ.

Что сказал Коксон

Коксон занимался предобучением новых моделей — сначала в OpenAI, затем в Anthropic, в общей сложности около трёх лет. В своём заявлении в социальной сети X он написал, что ни одна из этих компаний не действует ответственно.

По его словам, лаборатории стремятся как можно быстрее создать самосовершенствующийся сверхразум и «играют жизнями людей». Он предупредил, что такие системы вскоре могут превзойти человека: взламывать практически что угодно, за короткое время менять целые отрасли и получать реальную власть и ресурсы. Прогресс в этих направлениях, подчеркнул исследователь, не замедляется.

Коксон также заявил, что люди, которые непосредственно создают ИИ, всерьёз допускают, что технология может уничтожить человечество уже к концу десятилетия. Это, по его мнению, не рекламный ход. В публичных выступлениях руководители и ведущие специалисты часто формулируют мысли сдержанно, однако в частных разговорах выражают тот же страх. Никакая другая человеческая деятельность, отметил он, не несёт сравнимого уровня опасности.

Почему разработка продолжается

Исследователь отдельно объяснил, почему компании не останавливаются, несмотря на подобные опасения. В OpenAI, по его оценке, многие сотрудники до конца не осознали цивилизационный масштаб ставок. В Anthropic ставки понимают, но считают себя «запертыми» в гонке: если никто другой не будет действовать ответственно, им приходится пытаться занять лидирующие позиции самим — даже ценой риска.

В разговоре с The Wall Street Journal Коксон подтвердил, что не хочет участвовать в общеотраслевой спешке по созданию систем, способных улучшать самих себя. Он опасается, что такие модели могут выйти из‑под контроля и уничтожить человечество. По его словам, многие коллеги уже используют выражения вроде «crunchtime» и «endgame», описывая движение к самосовершенствующимся системам.

Призыв к коллегам и регуляторам

Коксон обратился к исследователям в лабораториях с просьбой задуматься, какими на самом деле будут ближайшие годы. Он поставил вопрос: стоит ли запускать циклы обучения сверхразума методом подкрепления, не имея строгого понимания того, как устроено «мышление» такой системы? Нужно ли просто опустить голову со словами «всё равно это произойдёт» — или попытаться добиться других условий?

Ранее он также присоединился к более чем тысяче специалистов в области ИИ, которые подписали заявление с призывом к глобальной координации правительств. Авторы документа предлагают создать механизм, способный при необходимости замедлить разработку, если появятся модели, умеющие самостоятельно себя улучшать.

Вкратце

Джейкоб Коксон, исследователь Anthropic с опытом работы в OpenAI, уволился, заявив, что ведущие ИИ‑лаборатории безответственно гонятся за самосовершенствующимся сверхразумом и тем самым ставят под угрозу человечество. По его словам, многие разработчики всерьёз допускают катастрофические риски уже к концу десятилетия, однако продолжают гонку, полагая, что иначе лидерство достанется менее осторожным игрокам. Коксон призвал коллег пересмотреть темпы работы и поддержал идею международного механизма, который мог бы при необходимости затормозить развитие самоулучшающихся систем.