Слева – изображение, которое показали на секунду, справа – работа ИИ
Компания Meta* AI разработала систему искусственного интеллекта, использующую магнитоэнцефалографию (МЭГ) для декодирования визуальных представлений в мозге. В перспективе это может проложить путь к созданию неинвазивных интерфейсов “мозг-компьютер”.
Система искусственного интеллекта может практически в реальном времени реконструировать процесс восприятия и обработки изображений в мозге. Это дает науке новый инструмент для понимания того, как образы представляются и используются в качестве основы человеческого интеллекта.
В перспективе это исследование может проложить путь к созданию неинвазивных интерфейсов “мозг-компьютер” в клинических условиях и помочь людям, потерявшим способность говорить в результате травмы мозга, пишут исследователи Meta*.
Система Meta* AI основана на недавно разработанной архитектуре декодирования восприятия речи из МЭГ-сигналов. Новая система состоит из кодера изображения, кодера мозга и декодера изображения.
Кодер изображения генерирует набор представлений изображения независимо от мозга, а кодер мозга сопоставляет МЭГ-сигналы с этими кодировками. Наконец, декодер изображения формирует правдоподобное изображение на основе представлений мозга.
Обучение архитектуры проводилось на общедоступном наборе данных МЭГ-записей здоровых добровольцев, опубликованных международным академическим исследовательским консорциумом Things.
Декодер МЭГ не очень точен в формировании изображения, но очень быстр, декодируя его практически в режиме реального времени. | Видео: Meta* AI
Исследовательская группа сравнила эффективность декодирования различных предварительно обученных модулей изображений и пришла к выводу, что сигналы мозга лучше всего подходят для продвинутых систем искусственного интеллекта, таких как DINOv2. DINOv2 – это самонастраивающаяся архитектура ИИ, способная обучаться визуальным представлениям без участия человека.
По мнению Meta* AI, это открытие подтверждает, что самоконтролируемое обучение приводит к тому, что системы ИИ развивают представления, подобные мозгу, причем искусственные нейроны в алгоритме активизируются аналогично физическим нейронам в мозге при воздействии на одно и то же изображение.
В то время как данные функциональной магнитно-резонансной томографии (фМРТ) позволяют получить более точные изображения, декодер МЭГ способен декодировать изображения за миллисекунды, обеспечивая непрерывный поток изображений непосредственно из активности мозга.
Эти изображения, хотя и не являются идеальными, на более высоком уровне отражают характеристики изображения, как их видит человек, например, категорию объекта (например, поезд, животное, человек и т.д.). Неточности возникают на уровне деталей (какое именно животное и т.д.).
При использовании методов фМРТ прогнозирование изображений на основе данных о мозге происходит более точно, но и более медленно. | Видео: Meta* AI
Полученные группой результаты показывают, что МЭГ может декодировать сложные представления, формируемые в мозге, с точностью до миллисекунды. По словам представителей компании Meta*, это способствует реализации ее долгосрочной исследовательской концепции, направленной на понимание основ человеческого интеллекта и разработку систем ИИ, обучающихся и мыслящих подобно людям.
Фундаментальные исследования Meta* в области человекоподобного машинного интеллекта
В начале 2022 года Ян ЛеКун, директор по исследованиям Meta* AI, представил новую архитектуру ИИ, призванную преодолеть ограничения существующих систем. Летом этого года группа специалистов из нескольких институтов, включая Meta* AI и Нью-Йоркский университет, продемонстрировала I-JEPA – визуальную модель ИИ, основанную на этой новой архитектуре.
I-JEPA, созданная на основе Vision Transformer, была обучена самоконтролю, чтобы предсказывать детали частей изображения, которые не видны. При этом он обучался абстрактным представлениям объектов, а не работал на уровне пикселей или маркеров.
Эти абстрактные представления, в свою очередь, могут помочь в разработке моделей ИИ, более похожих на человеческое обучение и способных делать логические выводы, согласно теории Лекуна.
* – компания Meta признана экстремистской в РФ
15 Апр 2024
912