Искусственный интеллект уже способен непрерывно мониторить инфраструктуру, находить аномалии и прогнозировать отклонения. Но чем больше решений передается таким системам, тем важнее становится другой вопрос: что делать, если модель уверена в своем прогнозе, но ошибается? Именно проблему доверия к ИИ профессор Университета Калабрии Франческо Ламонья назвал одним из главных вызовов для систем мониторинга критической инфраструктуры. 

Выступая на конференции в Ереване, он отметил, что главная проблема современных систем мониторинга на основе искусственного интеллекта заключается уже не в том, способны ли они обнаружить аномалию. Гораздо важнее понять, насколько их выводам можно доверять, когда от них зависит реальное решение.

Одного числа недостаточно

По его словам, за последнее время произошли три важных изменения. Во-первых, мониторинг постепенно переходит от периодического наблюдения за отдельными объектами к непрерывному сбору данных распределенными сенсорными сетями. Во-вторых, цифровые системы теперь сохраняют историю состояния и предыдущих вмешательств, а не только фиксируют отдельный момент времени. Это позволяет использовать накопленные данные для прогнозирования отклонений.

В результате системы способны выявлять необычное поведение еще до того, как станет понятно, что именно произошло.Однако именно здесь, считает Ламонья, возникает новая проблема. 

«Ограничением больше не является то, что мы можем измерить. Ограничением становится то, чему мы можем достаточно доверять, чтобы действовать на основании этого», — отметил профессор.

Ламонья обратил внимание на принципиальный момент: в системах управления критической инфраструктурой оператор видит на экране множество показателей, однако само число еще не является полноценным измерением. По его словам, вместе с каждым показателем должна быть информация о его неопределенности - насколько полученное значение может изменяться и насколько надежным является результат.

Это особенно важно в ситуациях, когда автоматизированная система подает сигнал тревоги и от этого сигнала зависит решение оператора. 

«Чтобы это было измерением, число должно сопровождаться неопределенностью — другим числом, которое показывает, насколько это значение может меняться», — объяснил он.

По мнению Ламоньи, если система демонстрирует впечатляющие результаты, но оператор не понимает границ их надежности, сама уже технология не приносит пользу тем, кто должен принимать решения в реальном мире.

ИИ может уверенно ошибаться

Еще одна проблема связана с прогнозными моделями. Система, обученная на исторических данных, может достаточно уверенно оценивать ситуацию, которая похожа на уже известные ей случаи. Но если она сталкивается с ситуацией, которой раньше не видела, сама модель может не понимать границ собственного опыта. Именно поэтому, считает профессор, нельзя автоматически приравнивать уверенность модели к ее надежности.

Ламонья подчеркнул, что  искусственный интеллект, который уверенно ошибается, представляет серьезную проблему для доверия к системе.При этом он добавил, что все это не является аргументом против использования технологий. Напротив, системы необходимо проектировать с учетом неопределенности и человеческого фактора.

По словам Ламоньи, устойчивость критической инфраструктуры зависит не только от возможностей сенсоров, моделей и автоматических систем оповещения. В конечном итоге решение принимает человек - и он должен понимать, что именно означает полученный сигнал.

«Нам нужно доверие до, а не после», — подчеркнул профессор.

По его словам, надежность модели должна быть частью самой методологии, а не административным дополнением к уже созданной системе. Оператор должен иметь возможность сопоставлять данные, а для этого информация об их неопределенности должна предоставляться вместе с самими данными.

Таким образом, вопрос, который необходимо задавать при разработке систем ИИ для критической инфраструктуры, звучит не просто как «что система может обнаружить?». Гораздо важнее понять: что именно она должна предоставить оператору до того, как он решится действовать на основании ее сигнала? Именно проблема доверия к таким системам, считает Ламонья, становится одним из ключевых вопросов следующего этапа развития ИИ в критической инфраструктуре.