Он знает, о чем вы думаете: ИИ «декодер мозга» способен считывать мысли без обучения

Специалисты усовершенствовали технологию, которая позволяет искусственному интеллекту преобразовывать мысли человека в текст.

В новом исследовании команда ученых сообщила, что их новый алгоритм преобразования может быстро обучить существующий декодер в мозге другого человека. По словам ученых, эти результаты могут помочь людям с афазией — расстройством мозга, которое влияет на способность человека общаться.

Борьба с афазией

Декодер мозга использует машинное обучение, чтобы переводить мысли человека в текст на основе реакций его мозга на прослушанные истории. Однако предыдущие версии декодера требовали, чтобы участники слушали истории в аппарате МРТ в течение многих часов, и работали только с теми людьми, на которых были обучены.

— У людей, страдающих афазией, часто наблюдаются трудности как в восприятии, так и в воспроизведении речи. В связи с этим, вероятно, будет невозможно создать модели их мозга, анализируя реакцию на услышанные истории, — сказал соавтор исследования Александр Хат, специалист по вычислительной нейробиологии из Техасского университета в Остине (UT Austin).

В новом исследовании, опубликованном 6 февраля в журнале Current Biology, Хат и соавтор Джерри Танг, аспирант Техасского университета в Остине, изучили, как можно преодолеть это ограничение.

— В этом исследовании мы задавались вопросом, можно ли сделать что-то по-другому? Можно ли, по сути, перенести декодер, который мы создали для мозга одного человека, на мозг другого человека, — рассказывает ученый.

Сначала исследователи обучили декодер мозга на нескольких эталонных участниках, собрав данные функциональной МРТ, пока участники слушали 10-часовую радиопередачу.

Затем они обучили два алгоритма преобразования на эталонных участниках и на другой группе «целевых» участников: один алгоритм использовал данные, собранные за 70 минут прослушивания участниками радиопередач, а другой — за 70 минут просмотра ими короткометражных фильмов Pixar, не связанных с радиопередачами.

Используя метод, называемый функциональным выравниванием, команда определила, как мозг участников контрольной и целевой групп реагировал на одни и те же аудио- или видеосюжеты. Они использовали эту информацию, чтобы обучить декодер работать с мозгом участников целевой группы, не собирая несколько часов обучающих данных.

Затем команда протестировала декодеры, используя короткий рассказ, который никто из участников раньше не слышал. Хотя прогнозы декодера были немного точнее для участников из контрольной группы, чем для тех, кто использовал конвертеры, слова, которые он предсказывал на основе сканирования мозга каждого участника, все равно были семантически связаны со словами из тестового рассказа.

Механизм считывания мыслей

Например, в одном из разделов тестовой истории кто-то рассуждает о работе, которая ему не нравится, говоря: «Я работаю официанткой в кафе-мороженом. Так что, э-э, это не… Я не знаю, где бы я хотела работать, но знаю, что не там». Декодер, использующий алгоритм преобразования, обученный на данных из фильмов, предсказал: «Я работала на скучной, по моему мнению, работе. Мне приходилось принимать заказы, и они мне не нравились, поэтому я работала над ними каждый день». Не совсем точное совпадение — по словам Хат, декодер не считывает те звуки, которые слышали люди, — но идеи схожи.

— По-настоящему удивительным и классным было то, что мы можем сделать это, даже не используя языковые данные. Таким образом, мы можем собирать данные, пока кто-то смотрит видео без звука, а затем использовать их для создания языкового декодера для мозга, — рассказал Хат в интервью.

По словам исследователей, использование видеоконвертеров для передачи существующих декодеров людям с афазией может помочь им выражать свои мысли. Это также указывает на некоторое сходство между тем, как люди представляют идеи в языке и в визуальных образах в мозге.

— Это исследование предполагает, что существует некое семантическое представление, которому все равно, в каком виде оно представлено, — считает Юкиёси Камитани, специалист по вычислительной нейробиологии из Киотского университета.

Другими словами, это помогает понять, как мозг представляет определенные понятия одинаково, даже если они представлены в разных форматах. Следующим шагом команды будет тестирование конвертера на участниках с афазией и создание интерфейса, который поможет им генерировать речь, которую они хотят генерировать.

Ученые разработали новый метод диагностики эпилепсии, основанный на различиях в активности мозга при воздействии света. Подробности в материале 56orb.