Разработчики систем физического искусственного интеллекта ищут новые способы обучения роботов, и одним из самых необычных направлений становится использование мозговой активности человека. Как сообщает TechCrunch, американская компания Encord совместно с немецким стартапом Zander Labs тестирует технологию, которая позволяет записывать мозговые волны операторов во время выполнения различных физических задач.

По мнению разработчиков, сегодня главным ограничением развития гуманоидных роботов становится уже не архитектура нейросетей, а нехватка качественных данных для обучения. В Encord считают, что таких данных попросту не существует в достаточном объеме, поэтому их приходится создавать практически с нуля.

Как проходит эксперимент

Испытания проходят на складе Encord в городе Сан-Леандро (штат Калифорния). Во время демонстрации оператор аккуратно разбирает башню из деревянных блоков Jenga, надев гарнитуру с камерой и датчиками, фиксирующими электрическую активность мозга. Помимо изображения от первого лица система получает информацию о том, как человек реагирует на происходящее — например, когда сталкивается с ошибкой, неожиданной ситуацией или принимает решение.

Разработчики полагают, что подобные данные помогут роботам лучше понимать, какие действия требуют максимальной концентрации и более сложных вычислений. Пока проект находится на стадии пилотного тестирования. Encord намерена сформировать первый набор данных с «метками» мозговой активности, проверить его на моделях клиентов и лишь затем принять решение о масштабировании технологии.

Роботам нужны реальные действия, а не интернет

В отличие от больших языковых моделей, которые обучались на огромных массивах текстов из интернета, роботам необходимы реальные примеры взаимодействия с физическим миром. Именно поэтому компании все чаще самостоятельно организуют сбор данных для обучения.

Основными источниками такой информации сегодня являются так называемые эгоцентрические видеозаписи — видео от первого лица, снятые людьми во время выполнения различных операций, — а также записи дистанционного управления роботами.

От наливания кофе до подключения серверов

На площадке Encord операторы создают обучающие наборы данных, выполняя самые разные действия: наливают кофе, складывают покерные фишки, подключают Ethernet-кабели к серверам, а также работают с бытовыми предметами, инструментами и упаковками. Все эти операции предназначены для обучения будущих гуманоидных роботов выполнению точных манипуляций.

Кроме регистрации мозговой активности компания тестирует еще одну технологию — датчики, закрепляемые на предплечье, которые считывают электрические сигналы мышц. Предполагается, что это позволит точнее восстанавливать положение кисти и пальцев в трехмерном пространстве, поскольку обычное видео не всегда фиксирует движения рук полностью.

Почему физический ИИ обходится значительно дороже

Все собранные данные подробно размечаются. Каждый ролик сопровождается описанием выполняемого действия — например, «правая рука затягивает болт». По оценке Encord, такая детальная разметка делает наборы данных примерно в сто раз ценнее для обучения конкретным задачам по сравнению с обычными видеозаписями, хотя их создание обходится примерно в двадцать раз дороже.

Именно высокая стоимость производства физических данных становится одним из главных отличий развития робототехники от генеративного искусственного интеллекта. Если языковые модели могли обучаться практически бесплатно на открытых данных из интернета, то для физического ИИ необходимую информацию приходится специально создавать, что существенно меняет экономику разработки подобных систем.