Австралийские исследователи создали неинвазивную систему искусственного интеллекта, способную преобразовывать безмолвные мысли в текст. Технология, известная как DeWave, использует плотно прилегающую шапочку для записи мозговых волн с помощью электроэнцефалограммы (ЭЭГ) и декодирования их в текст. Эта инновация способна произвести революцию в общении с пациентами, перенесшими инсульт или паралич, а также упростить управление машинами, такими как бионические руки или роботы.
Исследователи из Сиднейского технологического университета (UTS) провели испытания на более чем двух десятках испытуемых, чтобы подтвердить эффективность DeWave. Хотя по одному из показателей точность системы составила чуть более 40 %, это на 3 % лучше, чем у предыдущих методов перевода мыслей на основе ЭЭГ. Конечной целью является повышение точности до 90 %, что позволит сравняться с обычным языковым переводом или распознаванием речи.
Одним из ключевых преимуществ DeWave является его неинвазивный характер. В отличие от других методов, требующих инвазивных операций или громоздких аппаратов МРТ, DeWave требует лишь использования шапочки с датчиками. Это делает его более практичным для ежедневного использования и устраняет необходимость в устройствах слежения за глазами, которые обычно используются для преобразования сигналов мозга в фрагменты слов.
Проблема заключается в том, чтобы точно интерпретировать мысли человека, не полагаясь на слежение за глазами. У разных людей наблюдаются различия в структуре мозговых волн, поэтому системам искусственного интеллекта сложно расшифровать их конкретные мысли. Однако после длительного обучения кодировщик DeWave может преобразовывать волны ЭЭГ в код, который можно сопоставить с конкретными словами с помощью "кодовой книги".
"Интеграция с большими языковыми моделями открывает новые горизонты в нейронауках и искусственном интеллекте", - объясняет компьютерный ученый Чин-Тенг Лин из UTS. Исследователи объединили системы BERT и GPT для обучения DeWave и протестировали ее на существующих наборах данных людей с записью слежения за глазами и активности мозга во время чтения текста. Это обучение помогло системе научиться ассоциировать паттерны мозговых волн со словами, а дальнейшее обучение с использованием большой языковой модели позволило DeWave строить предложения из этих слов.
Если с переводом глаголов DeWave справилась отлично, то с существительными у нее возникли трудности: она часто давала не точный перевод, а пары слов с похожим значением. Это объясняется тем, что семантически схожие слова могут вызывать схожие модели мозговых волн во время обработки. "Мы думаем, что это происходит потому, что, когда мозг обрабатывает эти слова, семантически схожие слова могут вызывать схожие мозговые волны", - говорит первый автор работы Ицюнь Дуань (Yiqun Duan), компьютерный ученый из UTS.
Этот прорыв в области нейронного декодирования имеет значительные последствия для нейронаук и ИИ. При дальнейшем совершенствовании DeWave может проложить путь к беспрепятственной коммуникации для людей с нарушениями речи и улучшить взаимодействие между человеком и машиной. Исследователи с оптимизмом смотрят на будущее этой технологии и ее потенциал изменить жизнь людей.