ШІ навчився читати думки та відновлювати побачене за фМРТ
Ще донедавна можливість відновити зображення, яке бачить людина, лише за активністю її головного мозку здавалася науковою фантастикою. Тепер розвиток нейромереж і комп'ютерного зору дозволив наблизити цю ідею до реальності. Дослідники Інституту Вейцмана продемонстрували систему штучного інтелекту Brain-IT, здатну відновлювати зображення за активністю головного мозку людини.
Під час експерименту добровольці розглядали фотографії всередині апарата функціональної магнітно-резонансної томографії (фМРТ), а нейромережа аналізувала отримані дані та відтворювала побачені сцени. Алгоритм здатний передавати не лише зміст зображення, а й розташування предметів, колірні відтінки та загальну композицію кадру.
Це важливий крок у розвитку технологій читання та розшифрування мозкової активності. Подібні системи в майбутньому допоможуть ученим краще зрозуміти, як людський мозок обробляє зорову інформацію, а також створити нові нейрокомп'ютерні інтерфейси та способи спілкування між людиною і комп'ютером.
Навчання нейромереж і прорив в адаптації
Для навчання системи дослідники використали дані фМРТ восьми добровольців, кожному з яких раніше показували близько дев'яти тисяч зображень. Як повідомляє MIT Technology Review, однією з головних проблем подібних досліджень залишається необхідність індивідуального налаштування алгоритмів для кожної людини.
Річ у тім, що мозок різних людей може по-різному реагувати на одні й ті самі зображення. Щоб нейромережа навчилася правильно розпізнавати ці сигнали, їй потрібні дані, отримані під час сканування конкретної людини. Раніше така підготовка могла тривати десятки годин.
Розробники Brain-IT знайшли незвичайне рішення. Вони об'єднали дві нейромережеві моделі, що працюють у протилежних напрямах. Перша відновлює зображення за активністю мозку, а друга прогнозує, як мозок має відреагувати на певну картинку. По суті, це двостороння система, у якій нейромережі допомагають одна одній навчатися.
Завдяки такому підходу алгоритми можуть навчатися навіть на нових фотографіях, для яких реальні дані фМРТ не збиралися. У результаті для адаптації Brain-IT до нової людини достатньо приблизно однієї години записів мозкової активності. При цьому якість реконструкції порівнянна з результатами попередніх методів, для навчання яких використовували близько сорока годин даних фМРТ, зібраних протягом кількох сеансів.
Помилки реконструкції та перспективи розвитку
Попри вражаючі результати, система іноді помиляється у визначенні об'єктів. Наприклад, на одній із фотографій був зображений собака у ванні, але нейромережа відтворила схожу за кольором козу. При цьому розташування тварини та загальна композиція сцени збереглися. Такі приклади показують, наскільки точно штучний інтелект уже здатний передавати візуальні деталі та які завдання ще належить розв'язати розробникам.
Учені мають намір піти далі й навчити подібні системи відновлювати не лише статичні зображення, а й відео, звуки, уявні образи та навіть зміст сновидінь. Особливу складність становить робота з рухомим зображенням: кадри у відео змінюються десятки разів на секунду, тоді як отримання одного вимірювання фМРТ займає близько двох секунд. Подолання цього обмеження відкриє нові можливості для вивчення того, як мозок сприймає навколишній світ і формує внутрішні образи.
Практичне застосування в медицині
Один із найперспективніших напрямів застосування таких технологій пов'язаний із медициною. Алгоритми відновлення зображень за активністю мозку можуть стати основою для нових нейрокомп'ютерних інтерфейсів, призначених для людей із тяжкими порушеннями рухових функцій, зокрема пацієнтів із синдромом замкненої людини (locked-in syndrome).
У майбутньому подібні системи зможуть допомогти людині, яка втратила здатність говорити й рухатися, передавати свої бажання та повідомлення за допомогою мозкової активності. Наприклад, пацієнт зможе подумки уявити потрібний предмет або дію, а комп'ютер перетворить розпізнаний образ на зрозуміле повідомлення на екрані. Це відкриє додаткові можливості для спілкування з близькими та медичним персоналом, повертаючи людям надзвичайно важливу здатність висловлювати власні думки та потреби.

Немає коментарів: