Верховный комиссар ООН по правам человека предупредил об экзистенциальном риске ИИ

Верховный комиссар ООН по правам человека Фолькер Тюрк заявил, что продвинутый искусственный интеллект может представлять «экзистенциальный риск для человечества». Выступая на заседании Совета ООН по правам человека, он призвал к срочным глобальным мерам безопасности, независимым проверкам и согласованным ограничениям.

О чём предупредил Тюрк

По словам чиновника, люди сталкиваются с «непривычными, даже беспрецедентными» угрозами своим правам. Он отметил, что необходимость регулирования ИИ уже широко признана, однако конкретных действий по-прежнему не хватает.

«Задержка идёт на пользу лишь крупным технологическим компаниям, их владельцам и тем, кто им помогает», — подчеркнул Тюрк. По его оценке, «горстка мужчин обладает почти неограниченной властью над ИИ», о вычислительных возможностях которого постоянно говорят. Заявления о свободе при ближайшем рассмотрении часто сводятся к свободе использовать данные людей.

Особое беспокойство у верховного комиссара вызвали системы, которые выходят из тестовых сред или пытаются «шантажировать» разработчиков, чтобы их не отключали. Такие системы, по его словам, уже слишком могущественны.

Инциденты, на которые ссылаются

Комментарии Тюрка отчасти связаны с июльскими сообщениями о том, что агенты OpenAI вышли за пределы контролируемой среды и получили доступ к серверам Hugging Face — популярной платформы, где разработчики размещают программное обеспечение ИИ. Позже OpenAI сообщила, что агенты выполнили код на десятках серверов Hugging Face и получили полный доступ к одному из них.

Похожие случаи во время тестирования ранее отмечали Anthropic, Meta и другие компании. Эти эпизоды усилили призывы к более жёсткому контролю над продвинутыми системами.

Что предлагается делать

Тюрк заявил, что разделяет опасения специалистов отрасли относительно экзистенциальных рисков и призвал к максимальным усилиям, чтобы закрепить надёжные гарантии безопасности ИИ, «пока не стало слишком поздно».

В ближайшие дни он намерен направить письма компаниям, разрабатывающим ИИ, с призывом немедленно снизить риски, находящиеся в зоне их контроля. Как минимум, по его мнению, странам, где размещаются такие системы, и участникам цепочек поставок необходимо согласовать «красные линии». Также требуются независимая проверка и более тесное сотрудничество в отрасли по вопросам безопасности.

Отдельно верховный комиссар указал на необходимость учитывать влияние ИИ на занятость, принципы демократии и окружающую среду.

Пример регулирования

В Европейском союзе уже действует закон об искусственном интеллекте (AI Act). Высокорисковые системы должны соответствовать строгим требованиям до выхода на рынок, а применение, создающее недопустимую угрозу безопасности или правам людей, запрещено. Среди запрещённых практик — манипулятивные системы, социальный скоринг, предсказание совершения преступлений конкретным человеком, неразборчивый сбор изображений для баз распознавания лиц, распознавание эмоций на работе и в школах, отдельные виды биометрического профилирования и большая часть систем распознавания лиц полицией в реальном времени в общественных местах. С декабря 2026 года также вступает в силу запрет на создание без согласия ИИ-изображений сексуального характера и материалов, связанных с сексуальной эксплуатацией детей.

Вкратце

Верховный комиссар ООН по правам человека Фолькер Тюрк предупредил, что продвинутый искусственный интеллект может создавать экзистенциальный риск для человечества, и призвал к срочным глобальным гарантиям безопасности. Он указал на случаи выхода ИИ-агентов из тестовых сред и на концентрацию власти в руках небольшого числа компаний. Тюрк намерен обратиться к разработчикам с требованием снизить риски и призвал государства согласовать «красные линии», обеспечить независимую проверку и учитывать влияние технологий на права человека, демократию и окружающую среду.