Кейси Харрелл уже почти три года носит в своем мозге имплантированные электроды. Харрелл, страдающий боковым амиотрофическим склерозом (БАС) и парализованный, впервые использовал свой интерфейс «мозг-компьютер» (BCI) для «произнесения» предложений с помощью исследовательской группы в 2023 году.
С тех пор Харрелл использовал устройство тысячи часов. Он может пользоваться им практически самостоятельно, как только его подключат к сети с помощью сиделки. Его команда добавила в него новые функции, и Харрелл также использует его для просмотра веб-страниц и выполнения своей работы.
«Живя с таким заболеванием, как БАС, вы, по идее, должны видеть менее яркие сны. У меня их нет», — говорит Харрелл в интервью MIT Technology Review . «Любая из этих вещей сама по себе была бы абсолютным спасением. А иметь все это, и многое, многое другое, — это поистине революционно».
Как сообщила сегодня команда исследователей в журнале Nature Medicine , за первые 22,6 месяца после имплантации устройства Харрелл использовал его дома более 3800 часов без присутствия исследователей. «Он первый опытный пользователь речевого интерфейса мозг-компьютер», — говорит член команды Сергей Стависки, нейроинженер из Калифорнийского университета в Дэвисе.
Расшифровка речи
Три года назад Харрелл доверил свой мозг Дэвиду Брандману, доценту кафедры нейрохирургии Калифорнийского университета в Дэвисе, и его коллегам. У Харрелла, которому на тот момент было 45 лет, уже был диагностирован боковой амиотрофический склероз (БАС), дегенеративное заболевание, лишающее людей возможности пользоваться мышцами.
Харрелл зависел от других в управлении инвалидным креслом, а также в том, чтобы его одевали и кормили. Ему было трудно говорить; люди с трудом понимали, что он говорит. Тогда Брандман и его коллеги спросили, не хотел бы он попробовать имплантат в мозг , который мог бы помочь ему общаться. «Отрасль была на пороге трансформации, и я хотел стать её частью», — говорит Харрелл. Он записался.
В июле 2023 года во время пятичасовой операции врачи имплантировали ему в мозг четыре массива по 64 электрода в каждом. Каждая пара массивов была подключена к точке соединения типа «пьедестал», создавая два места крепления на внешней стороне черепа для подключения электродов к компьютеру.
Команда долгое время работала над разработкой алгоритмов для преобразования мозговой активности в речь. Их система работает путем записи активности речевой моторной коры — области мозга, отвечающей за движения, позволяющие нам говорить.
«В английском языке [американского] используются 39 фонем, которые составляют все звуки», — говорит Николас Кард, нейроинженер из Калифорнийского университета в Дэвисе и член исследовательской группы. Картирование нейронной активности, связанной с произнесением каждой из этих фонем, позволит команде создать персонализированный декодер речи и программное обеспечение, способное «произносить» эти слова. «Сначала мы переходим от данных о мозге к фонемам, а затем от фонем к словам», — говорит он.
Они начали использовать устройство примерно через месяц после операции. По словам Карда, команда запустила речевой декодер Харрелла в первый же день . В тот день в августе Харрелл использовал устройство, чтобы произнести слова из 50 слов, и 99,6% слов были произнесены так, как он и предполагал. Позже этот словарный запас был расширен до 125 000 слов с точностью 97,5%.
В то время было неясно, как долго прослужит это устройство. Интерфейсы «мозг-компьютер» — относительно новая технология, и лишь немногие люди имплантировали их на длительный срок. Вокруг электродов в мозге человека может образовываться рубцовая ткань, которая, например, мешает им улавливать нейронную активность. Но, похоже, в случае с Харреллом этого не произошло.
Опытный пользователь
Еще одним достижением стало то, что Харрелл теперь может использовать устройство более самостоятельно. В 2023 году членам исследовательской группы приходилось посещать Харрелла дома и физически подключать и отключать его от устройства в те дни, когда он хотел им воспользоваться. Теперь это не требуется. С тех пор команда автоматизировала большую часть системы — сегодня помощник Харрелла может надевать и снимать устройство за него. «Он просыпается, подключается к устройству и просто начинает пользоваться им», — говорит Стависки.
Это важно, говорит Мариска Ванстезель, исследовательница интерфейсов мозг-компьютер из Медицинского центра Утрехта, которая не принимала участия в испытаниях.
«Чтобы эти технологии были актуальны для пациентов, нам действительно нужно протестировать их в условиях, в которых они в конечном итоге будут использоваться… чтобы продемонстрировать, что они имеют ценность, что они пригодны для использования и что они хорошо функционируют без постоянного участия исследовательской группы», — говорит она.
Команда также работала над улучшением самой системы. По словам Стависки, теперь ее точность составляет 99%. Харрелл также может управлять курсором — это кардинально меняет ситуацию, позволяя ему использовать свой персональный компьютер для отправки текстовых сообщений и электронных писем, просмотра веб-страниц и выполнения своей работы в качестве экологического активиста.
За прошедшие годы команда обновила систему, чтобы удовлетворить конкретные запросы Харрелла. Теперь он может включить «режим конфиденциальности» — при его активации любой расшифрованный текст будет автоматически удален. Он также может использовать «фильтр нецензурной лексики» во время разговора со своей маленькой дочерью.
«Нам удалось расширить программное обеспечение устройства… повысив точность и добавив больше функций, которые позволят мне быть более независимым при его использовании», — говорит Харрелл. «Мы прокладываем дорогу, идя по ней, или, так сказать, катя её».
Это поистине революционно.
Ванстисел предупреждает, что, хотя устройство хорошо работает для Харрелл, нет гарантии, что оно будет работать так же хорошо или так же долго для других людей с БАС. В течение последнего десятилетия она работала с женщиной с БАС, которая использовала полностью имплантированное устройство для общения с помощью «мозговых щелчков» — щелчков курсора, создаваемых на основе мозговой активности. Женщина использовала свой интерфейс мозг-компьютер в течение семи лет, но к концу этого периода он перестал работать, по-видимому, из-за дегенерации мозга .
В любом случае, не все люди с БАС готовы к инвазивной операции на головном мозге, говорит Джейн Хаггинс, которая разрабатывает неинвазивные интерфейсы мозг-компьютер в Мичиганском университете и не принимала участия в исследовании.
«Долгосрочное, независимое использование с эффективной и точной коммуникацией — это своего рода священный Грааль интерфейсов мозг-компьютер», — говорит она. «Но мы обнаружили устойчивое нежелание людей с прогрессирующими заболеваниями, такими как БАС, находиться в больнице».
Однако Харрелл называет это устройство «настоящей революцией». «Это позволило мне продолжать работать, зарабатывать деньги и обеспечивать семью страховкой. Это помогает мне восстановить связь с друзьями и родственниками, которые слишком стесняются или боятся прийти в гости и не понять меня», — говорит Харрелл. «С моей семилетней дочерью я могу создать связь, которой раньше не мог достичь. Теперь я могу читать им и помогать им улучшать навыки чтения. Благодаря этому я могу разделить ответственность за воспитание ребенка со своей женой, которая так много делает для меня и нашей дочери».
Стависки и его коллеги надеются еще больше усовершенствовать устройство. «Мы никогда не бываем удовлетворены», — говорит он. Одна из целей — в конечном итоге восстановить «полноценный голос» Харрелла. Они работают над системой «преобразования мозга в голос», которая могла бы напрямую декодировать мозговую активность в речь, с естественной интонацией, ритмом и интонацией — голосом, который мог бы звучать, например, радостно, сердито или саркастично.
«Я был уверен, что смогу извлечь из этой системы некоторую личную выгоду, — говорит Харрелл. — Никогда в жизни бы не подумал, что добьюсь таких успехов».
