Anthropic призвала к глобальному замораживанию разработки ИИ: С 25%-ной вероятностью ИИ может выйти из-под нашего контроля

Компания Anthropic, создатель чат-бота Claude и на сегодняшний день самая дорогая ИИ-компания в мире (оценка — $965 млрд), выступила с радикальным предложением: ввести глобальную паузу в развитии самых мощных систем искусственного интеллекта. По мнению руководства, человечество рискует утратить контроль над технологией.

Главное предложение компании

В подробном эссе, опубликованном на сайте Anthropic, топ-менеджеры заявили, что если бы существовала реальная возможность замедлить развитие ИИ, чтобы дать обществу больше времени на осмысление последствий, это было бы благом для мира.

«Если бы мы могли эффективно замедлить развитие этой технологии, чтобы дать себе больше времени на работу с её огромными последствиями, мы думаем, что это, вероятно, было бы хорошей идеей», — отметили авторы.

Они сравнили ситуацию с классической проблемой контроля над вооружениями и подчеркнули, что окно возможностей для регулирования технологии быстро закрывается.

Причины тревоги

Anthropic предупреждает о приближении момента «рекурсивного самоулучшения» — когда ИИ сможет самостоятельно совершенствовать свои алгоритмы и архитектуру. Это может привести к взрывному росту возможностей, но одновременно создаст серьёзный риск полной потери контроля со стороны человека.

Компания уже придерживает выпуск своей самой мощной модели Mythos, опасаясь, что она может быть использована для проведения масштабных кибератак.

Реалии глобальной паузы

В Anthropic признают, что организовать согласованное глобальное замораживание чрезвычайно сложно. Основные игроки рынка находятся в жёсткой конкуренции, особенно между США и Китаем. Кроме того, обучение моделей легко скрыть, а механизмы верификации практически отсутствуют.

«Значительное замедление или пауза потребовали бы, чтобы несколько ведущих лабораторий в разных странах одновременно согласились остановиться на одних и тех же условиях», — отмечают авторы.

Контекст и реакция

Anthropic традиционно позиционирует себя как компанию, наиболее озабоченную безопасностью ИИ. Её основатель и CEO Дарио Амодеи ранее оценивал вероятность «очень плохого сценария» развития событий в 25%.

Призыв к паузе прозвучал на фоне активной подготовки компании к возможному выходу на биржу. Эксперты отмечают, что подобные заявления могут быть также попыткой продвинуть регуляторные меры, которые создадут барьеры для конкурентов.

Вкратце

Anthropic призвала ввести глобальную паузу в разработке самых мощных моделей ИИ, предупредив о риске потери контроля над технологией. Компания готова приостановить свои работы, если другие ведущие игроки сделают то же самое. Однако эксперты скептически оценивают реалистичность такого сценария из-за жёсткой международной конкуренции. Призыв прозвучал на фоне подготовки Anthropic к возможному IPO и растущих опасений по поводу безопасности искусственного интеллекта.