Дальневосточные ученые помогут учить и лечить
VR- и AR-технологии, которые позволят осваивать языки и улучшат реабилитацию после травм
Центр НТИ ДВФУ, созданный в рамках Национальной технологической инициативы на базе Дальневосточного федерального университета, создает высокотехнологические проекты с применением нейротехнологий.
Фото: Александр Коряков, Коммерсантъ
Первые эксперименты по внедрению образовательных продуктов с применением виртуальной и дополненной реальности провели в школах в 2019 году. Апробацию прошли обучающие комплексы по физике, разработанные совместно с компанией Modum Lab, и виртуальная химическая лаборатория VR Chemistry Lab от компании STEM-GAMES. В 2020 году в рамках первого этапа Всероссийской программы апробации образовательного программного обеспечения в виртуальной и дополненной реальности разработки центра и компаний-партнеров предложили использовать на школьных уроках.
В рамках этой программы центром НТИ ДВФУ была заявлена собственная разработка — диалоговый тренажер для практики английского языка VARVARA на запатентованной платформе компании-партнера VR Supersonic. При погружении в виртуальную реальность с помощью шлема можно, например, побывать в роли постояльца отеля, посетителя спортзала или современного ресторана, совершенствуя свои языковые навыки в процессе общения. Система собирает данные и дает структурированную обратную связь по нескольким параметрам: грамматические и лексические ошибки, произношение, визуальный контакт, скорость речи и др.
Экспериментальный курс по стереометрии с использованием виртуальной реальности создан совместно с компанией-партнером «Мастерская науки». Содержательно курс состоит из четырех групп конкретных практико-ориентированных задач: построение объемных тел по проекциям, изучение изменения уровня в сосуде в зависимости от объема налитой жидкости, упаковка различных предметов в коробки, сборка обшивки цилиндрической ракеты из прямоугольных деталей.
Приоритетный проект медицинского направления — метод реабилитации двигательных и вестибулярных нарушений с использованием технологий виртуальной реальности на основе тактильной обратной связи. Разработка ведется совместно с медицинским центром ДВФУ и компанией-партнером TeslaSuit. Программно-аппаратный комплекс состоит из костюма с технологией обратной связи, VR-контента, программы реабилитации и приложения для врача.
Вместе с КФУ ученые НТИ ДВФУ изучают метод SCS (spinal cord simulation) для реабилитации пациентов, перенесших спинномозговую травму, разрабатывают цифровую среду для диагностики и лечения нейродегенеративных заболеваний. Анализировать данные будет искусственный интеллект, результаты анализа он предложит в виде информации для врача и пациента. Ученые считают, что это может помочь более точно поставить диагноз, выявить скрытые закономерности на большой базе данных и на этой основе предсказывать состояние пациентов и развитие заболевания.
В 2020 году центром были инициированы два новых медицинских проекта: VR-тренажер по реабилитации верхних конечностей с применением технологий виртуальной реальности и система бесконтактного мониторинга двигательной активности пациента при проведении нейрохирургического вмешательства.
Ольга Максименкова, к. т. н., научный сотрудник международной лаборатории интеллектуальных систем и структурного анализа НИУ ВШЭ:
— Технологии виртуальной и дополненной реальности (VR/AR) уже помогают в освоении навыков в различных областях, и вполне успешно. Тренажеры и симуляторы, позволяющие вырабатывать навыки работы на сложном оборудовании, например авиационном и космическом, пультах управления атомными электростанциями и т. п., массово переходят в виртуальные миры, снижая издержки на содержание дорогостоящих лабораторных стендов. Более обозримые реализации появились для «рабочих» специальностей — например, комплект оборудования виртуальной реальности для обучения сварщиков, экскаваторщиков, художников, музыкантов и даже операторов ЭВМ. Замечу, что в подобных системах важна не только сама виртуальная среда, но и алгоритмы искусственного интеллекта, которые позволяют анализировать правильность работы (вплоть до постановки рук) и предоставлять обратную связь «от мастера к подмастерью», которая практически всем нам знакома и понятна.
Идея о доступности лабораторного оборудования шагнула в сторону школ и вузов — например, простые и дешевые VR-устройства использует сервис Labster, предоставляющий доступ к большому числу как лабораторных работ, так и лабораторных стендов.
На факультете компьютерных наук НИУ ВШЭ в лаборатории интеллектуальных систем и структурного анализа под руководством проф. Кузнецова С. О. ведутся исследования в области интеллектуального программного обеспечения, в том числе связанного с высокоиммерсивными средами, к которым относится и виртуальная реальность. Например, наши результаты были внедрены стажером-исследователем Михайленко Д. И. в виртуальную лабораторию «Кинематика» стартапа XReadyLab. XReadyLab нацелен на повышение вовлеченности в STEM-предметы с помощью образовательных лабораторий. Лаборатории доступны в формате VR-приложений и в виде браузерных игр. На базе Сколтеха коллеги открыли класс виртуальной реальности, где проходят лекции с использованием иммерсивных технологий. Отмечу и смежный проект — музей в виртуальной реальности Artheon, в котором шлем виртуальной реальности позволяет посетить музеи мира и получить доступ к сотням тысяч экспонатов! Сотрудники лаборатории интеллектуальных систем и структурного анализа помогали реализовать для музея рекомендательную систему, которая комплектует тематические экспозиции и анализирует вкусы и предпочтения посетителей.
Юлия Хукаленко, координатор исследований VR/AR центра НТИ ДВФУ:
— Виртуальная реальность позволяет работать в недоступных или небезопасных условиях. Например, не в каждой школе есть химическая лаборатория, и даже в тех, где эксперименты проводятся, многое упускается в целях безопасности. Такие технологии очень полезны для юных врачей, в частности хирургов, так как практика в качественно разработанном VR-тренажере гораздо лучше любых манекенов. Похожая ситуация и в языках. Виртуальная реальность вряд ли когда-то перестанет ассоциироваться с игровой индустрией. Но ведь именно через игру мы развиваем навыки и знания без ущерба для собственной самооценки. В изучении языка это особенно важно. Если я учусь играючи, то не боюсь поражений. И с такой же уверенностью потом выйду в реальный мир.
Артур Биктимиров, врач-нейрохирург медицинского центра ДВФУ, аналитик по нейротехнологиям центра НТИ ДВФУ:
— Сегодня говорить о том, что ИИ может быть полноценным помощником врача, рано. Искусственный интеллект можно научить искать закономерности и связи, с максимально возможной точностью трактовать данные. Но опять же это невозможно сделать без компетентного специалиста, решения которого и будут восприниматься ИИ как почва для обучения. Окончательное решение, как лечить, всегда остается за врачом, но рекомендации системы могут влиять на результат. Быстрый анализ большого количества данных о пациенте может показать то, чего даже опытный врач может не заметить. Сейчас есть большое количество данных, в том числе и в медицине, но они не структурированы из-за того, что пока нет стандартов по оцифровке. Это один из барьеров, который нам нужно преодолеть для внедрения подобных решений.
В центре создается помощник для врача, использование которого не требует от специалиста понимания, как работает система. Но для развития таких решений важно понимание, как работать с данными, как их собирать и обрабатывать. Это может быть полезно для развития решений в области медицины.
Алексей Незнанов, к. т. н., доцент, старший научный сотрудник международной лаборатории интеллектуальных систем и структурного анализа НИУ ВШЭ:
— Сегодня можно научить ИИ анализировать данные пациента. Более того, «медицинская информатика» — один из важнейших драйверов доказательной медицины, а анализ медицинских данных — одна из важнейших составляющих этого драйвера. Просто специалисты-клиницисты и аналитики не сильно любят хайп вокруг искусственного интеллекта. Сейчас в повестке дня вопросы удобства, эффективности, интерпретируемости и этичности конкретных методов и инструментов анализа данных, а также их интеграции. При этом требования к качеству работы решений в медицине очень высоки и опираются на сформированный золотой стандарт доказательной медицины. Например, существует интереснейшая публикация о реальном внедрении диагностики рака предстательной железы и конкретных проблемах внедрения и много других работ.
ИИ может помочь поставить диагноз. И тут нужно серьезно обсуждать методологию пропедевтики и диагностики с участием ИИ, особенно использование систем поддержки принятия врачебных решений (СППВР) в рамках интегрированных медицинских информационных систем. Дьявол кроется в деталях. По многим направлениям объективной диагностики средняя точность ИИ превысила показатели экспертов-людей. Опять-таки в повестке уже более актуальны вопросы качества данных и аудита (так как постулат «мусор на входе — мусор на выходе» никто не отменял), а также учета требований доказательной медицины при оценке и внедрении решений. Особенно это касается переработки ранее накопленного массива медицинских знаний (с чем полностью не смогли справиться пока даже специалисты IBM в рамках проекта Watson). Например, в РФ развивается инициатива «Национальная база медицинских знаний». Только объективизация знаний вкупе с развитием персонализированной медицины позволит дальше повышать точность анализа (пациент как типичен, так и индивидуален, что заставляет нас учитывать как статистику по популяции, так и личные генетические и психофизиологические характеристики пациента).
Соответствующее оборудование и программные средства на наших глазах становятся совершенно обычными медицинскими изделиями. Например, 3 апреля 2020 года Росздравнадзор зарегистрировал программное обеспечение «Система поддержки принятия врачебных решений Webiomed» как медицинское изделие. Врач, не умеющий работать с данным классом медицинских изделий, очень скоро будет считаться профнепригодным.
Лилия Бондарева, к. пол. н., заведующая кафедрой иностранных языков и коммуникативных технологий НИТУ МИСиС:
— VR-технологии для обучения иностранным языкам представляются очень перспективными, хотя сами по себе диалоговые тренажеры не новое явление. Например, в НИТУ МИСиС еще десять лет назад студенты получили возможность отрабатывать разговорные навыки с помощью тренажеров, являющихся частью электронной образовательной платформы издательства Кембриджского университета. Для работы студент выбирает себе роль в диалоге по изучаемой теме, слушает реплику электронного собеседника и записывает свой голосовой ответ. Студенты могут строить диалог с помощью опорных слов или использовать готовые модели предложений. Эти тренажеры эффективны для самостоятельной работы и позволяют в комфортной для учащихся обстановке работать над произношением и беглостью речи.
Преимуществом VR-технологий является потенциальное использование возможностей искусственного интеллекта для адаптации сценариев к языковому уровню обучающегося, а также для получения обратной связи по разным аспектам речевого поведения. Важным дополнением является также возможность учитывать мультимодальность коммуникации, а именно «считывание» невербального поведения собеседника, визуальных и жестовых подсказок. Существующие виртуальные тренажеры для обучения иностранным языкам, например, в США на данный момент предусматривают лишь небольшое количество возможных коммуникативных ситуаций, в основном бытовых, и рассчитаны на невысокий уровень владения иностранным языком. Уверена, что у разработки VARVARA отличные перспективы для развития как на российском, так и на зарубежных рынках.
Мы внимательно следим за развитием российских и зарубежных технологий, которые могут быть адаптированы для обучения иностранным языкам. В НИТУ МИСиС в 2010 году впервые в России была внедрена модель смешанного обучения в преподавании английского языка в рамках партнерского проекта с издательством Кембриджского университета. Изучение виртуальных пространств и тренажеров для обучения иностранным языкам является обязательной частью программы подготовки студентов (международная магистерская программа «Обучение иностранным языкам и педагогическое проектирование в цифровой среде»).
Андрей Приступа, заведующий лабораторией VR/AR-технологий Института прикладной математики и компьютерных наук ТГУ:
— На наш взгляд, изучение иностранного языка в VR существенно уступает существующим методам. К примеру, обычным занятиям в классе, аудитории или в Skype с учителем. Алгоритмы, закладываемые в подобные разработки, не могут обеспечить качественного диалога. Виртуальный собеседник вряд ли сможет повторить свой вопрос или ответить на ваш другими словами, с другой интонацией, с другой скоростью и т. п. И что делать, если виртуальный собеседник (администратор гостиницы) задал вам вопрос, но вы ответили не шаблонным ответом, а другим, с перестановкой слов в предложении, добавили вводные слова или использовали синонимы при ответе?
Низкая вариативность или даже ее отсутствие существенно ограничивает применение данной технологии в изучении языков.
Искусственный интеллект, основанный на применении нейронных сетей, с успехом используется уже во многих областях человеческой деятельности. Есть одно ограничение: только при наличии большой базы данных, в которой уже есть сотни (а лучше — тысячи) ранее обследованных пациентов со всеми их характеристиками (характер полученных травм, возраст, вес, результаты анализов, образ жизни и десятки других входных данных) и с установленным врачом диагнозом, временем восстановления, рекомендациями (то есть достоверными выходными данными, полученными без участия ИИ), можно рассчитывать на приемлемую точность и реальную пользу от применения данной технологии. Однако утверждать рекомендации, предлагаемые ИИ, все равно должен врач. Дополнительное образование для работы с таким оборудованием не требуется, достаточно разового инструктажа.
Что касается своих разработок в области VR/AR, у ТГУ они тоже есть. Так, например, в 2020 году магистрантка ИПМКН ТГУ Юлия Прокудина создала виртуальный заповедник, позволяющий изучать диких животных в естественной среде их обитания. Экосистемы выполнены максимально приближенно к жизни, по желанию пользователь может вносить в них изменения — убирать и добавлять новых животных, менять их ареал. Новый IT-продукт открывает дополнительные возможности для обучения школьников. Музеи природы в перспективе смогут использовать виртуальный заказник для проведения экскурсий в саваннах, тропических лесах, Арктике и других климатических районах. В настоящее время студент пятого курса ИПМКН ТГУ, сотрудник лаборатории VR/AR Андрей Фескович занимается разработкой библиотеки для создания пользовательского интерфейса, которая позволит упростить, ускорить и упорядочить создание AR-приложений. Ранее на базе лаборатории VR/AR ИПМКН ТГУ был разработан прототип системы, использующей возможности «сквозных» технологий для выявления дефектов в проектировании технических объектов. Совместный проект, реализуемый с партнером университета — компанией Rubius, нацелен на повышение безопасности и улучшение эргономики современных зданий и других технических объектов.