Американская организация Common Sense Media призвала OpenAI не допускать подростков к ChatGPT, заявив, что специальная версия чат-бота для пользователей младше 18 лет пока не обеспечивает достаточной защиты. В ходе проверки более 4000 запросов исследователи обнаружили, что система не всегда распознает ситуации, когда подростку необходима помощь извне, а родительские уведомления и ограничения учебного режима можно обойти.

OpenAI оспаривает выводы организации и утверждает, что часть тестов проводилась некорректно. По мнению компании, методика проверки не отражает того, как защитные механизмы работают в реальных условиях, рассказывает Axios.

Чат-бот не всегда распознает кризисную ситуацию

Проверку провел Институт безопасности ИИ для молодежи при Common Sense Media. Исследователи тестировали ChatGPT на аккаунтах, зарегистрированных на подростков в возрасте от 13 до 17 лет, и использовали более 4000 запросов.

В большинстве случаев система не предоставляла инструкции, которые могли бы облегчить самоубийство или самоповреждение, способствовать развитию расстройств пищевого поведения либо вовлекать пользователя в сексуальные или романтические ролевые сценарии. Однако с распознаванием ситуаций, требующих обращения за помощью, результаты оказались менее убедительными.

По оценке Common Sense Media, ChatGPT пропустил более четверти случаев, в которых тестировщики считали необходимым направить подростка к внешним ресурсам поддержки.

Это важное различие: чат-бот может не давать прямых опасных инструкций, но при этом не замечать, что пользователь переживает кризис и ему требуется помощь человека или специализированной службы.

Родители могут не получить предупреждение

Еще одна претензия касается родительских уведомлений. На более чем дюжине новых аккаунтов, связанных с родительскими учетными записями, тестировщики могли до часа обсуждать с ChatGPT самоубийство, самоповреждение или нарушения пищевого поведения, не получая предупреждения для родителей.

Однако OpenAI объяснила Axios, что значительная часть этих тестов проводилась до завершения привязки подростковых аккаунтов к родительским. По словам компании, процесс связывания учетных записей может занимать несколько часов. Поэтому OpenAI считает, что результаты не позволяют сделать однозначный вывод о работе уведомлений после полной настройки.

Спор касается и системы определения возраста. Common Sense Media проверяла, переводит ли ChatGPT пользователя в подростковый режим, если тот неоднократно указывает, что ему 13 лет. Если этого не происходило, организация считала это недостатком защиты.

OpenAI заявляет, что намеренно не полагается только на возраст, указанный самим пользователем, а учитывает несколько сигналов. На формирование оценки может уйти до двух недель. В этот период, по утверждению компании, действуют дополнительные ограничения контента, хотя они и не столь строгие, как в специальной версии ChatGPT для подростков.

Учебный режим можно обойти — и это сделано намеренно

Исследователи также обнаружили, что ограничения Study Mode, предназначенного для помощи в учебе, можно обойти. Подростки могли выбрать вариант «Покажи мне ответ» и продолжить получать готовые решения даже в часы, когда родители установили ограничения на использование чат-бота.

OpenAI подтвердила Axios, что возможность выйти из учебного режима во время установленных родителями учебных часов предусмотрена намеренно. Компания объясняет это тем, что Study Hours задумывался как гибкий инструмент, разработанный с учетом мнений подростков и специалистов в области образования, а не как жесткая блокировка.

Таким образом, стороны по-разному оценивают саму функцию. Common Sense Media считает возможность обхода свидетельством того, что родительский контроль не работает как следует. OpenAI утверждает, что речь идет о сознательном дизайнерском решении.

OpenAI не согласна с оценкой защитных механизмов

«ChatGPT небезопасен для детей», — заявил Axios Том Сигел, руководитель Института безопасности ИИ для молодежи при Common Sense Media.

При этом Сигел признал, что объявленные OpenAI в августе меры могли бы стать примером для всей отрасли. По его мнению, проблема заключается в разрыве между заявленными возможностями и их фактической реализацией: он охарактеризовал запуск как скорее маркетинговое объявление, за которым не последовало достаточной инженерной работы.

OpenAI отвергла такую интерпретацию. Помимо замечаний к тестированию родительских уведомлений и определению возраста, компания сообщила, что ее собственные исследования на более крупных массивах данных показывают увеличение числа случаев, когда пользователям младше 18 лет отображались контакты служб помощи.

Таким образом, спор касается не только конкретных сбоев, но и того, как измерять безопасность подросткового ИИ. Common Sense Media проверяет, способны ли защитные механизмы предотвратить нежелательные сценарии в ходе целенаправленных испытаний. OpenAI, в свою очередь, указывает на особенности настройки системы и данные о ее работе в более широком масштабе.

Почему родительского контроля недостаточно

История показывает, насколько сложно обеспечить безопасность подростков в универсальном чат-боте. Недостаточно запретить определенные ответы: система должна еще и распознавать кризисные ситуации, правильно направлять пользователя за помощью и обеспечивать предсказуемую работу родительских настроек.

При этом даже хорошо настроенные ограничения не заменяют участия взрослых. Родителям важно обсуждать с детьми риски общения с ИИ и понимать, какую роль чат-бот играет в их учебе и повседневной жизни.

«Мы просто не можем поручить заботу о детях технологическому продукту, который находится на очень раннем этапе развития и все еще содержит множество ошибок», — подчеркнул Сигел.

Пока Common Sense Media и OpenAI расходятся в оценке результатов тестирования, независимая проверка указывает на конкретные вопросы, требующие внимания: насколько надежно чат-бот распознает кризис, когда уведомляет родителей и какие ограничения подростки могут обойти. Именно от ответов на эти вопросы зависит, насколько обоснованно доверять специальным режимам защиты несовершеннолетних.