Ученые используют ИИ для преобразования мыслей в образы с точностью 80%

Искусственный интеллект может создавать изображения на основе текстовых подсказок, но ученые представили галерею изображений, которые технология создает, считывая активность мозга.

Новый алгоритм на основе искусственного интеллекта реконструировал около 1,000 изображений, включая плюшевого мишку и самолет, из этих сканов мозга с точностью 80 процентов.

Исследователи из Университета Осаки использовали популярную модель стабильной диффузии. включен в DALL-E 2 от OpenAI, который может создавать любые изображения на основе введенного текста.

Команда показала участникам отдельные наборы изображений и собрала фМРТ (функциональную магнитно-резонансную томографию). AI потом расшифровал.

Мы показываем, что наш метод может реконструировать изображения высокого разрешения с высокой семантической точностью по активности человеческого мозга», — поделилась команда в исследовании, опубликованном в bioRxiv.

«В отличие от предыдущих исследований реконструкции изображений, наш метод не требует обучения или тонкой настройки сложных моделей глубокого обучения».

Алгоритм извлекает информацию из частей мозга, участвующих в восприятии изображений, таких как затылочные и височные доли, по словам Ю Такаги, руководившего исследованием.

Команда использовала фМРТ, потому что она улавливает изменения кровотока в активных областях мозга. Science.org отчеты.

FMRI может обнаруживать молекулы кислорода, поэтому сканеры могут видеть, где в мозгу наши нейроны — нервные клетки мозга — работают больше всего (и потребляют больше всего кислорода), когда у нас есть мысли или эмоции.

Всего в этом исследовании участвовало четыре участника, каждый из которых просматривал набор из 10,000 XNUMX изображений.

ИИ начинает генерировать изображения в виде шума, похожего на телевизионные помехи, которые затем заменяются различимыми особенностями, которые алгоритм видит в деятельности, обращаясь к изображениям, на которых он обучался, и находя совпадения.

«Мы демонстрируем, что наша простая структура может реконструировать изображения с высоким разрешением (512 x 512) из ​​активности мозга с высокой семантической точностью», — говорится в исследовании.

«Мы количественно интерпретируем каждый компонент LDM с точки зрения нейронауки, сопоставляя определенные компоненты с отдельными областями мозга.

Мы представляем объективную интерпретацию того, как процесс преобразования текста в изображение, реализованный с помощью LDM [модель скрытой диффузии], включает семантическую информацию, выраженную условным текстом, и в то же время сохраняет внешний вид исходного изображения».

Прочитайте полную историю здесь…