Словарь техносемантики
Лингвисты Пермского университета учат роботов языку человеческих жестов
Лингвисты ПГНИУ опубликовали результаты исследования, посвященного актуальным вопросам технолингвистики. Статья, изданная в престижном научном журнале «Научный результат. Вопросы теоретической и прикладной лингвистики» (Scopus), исследует восприятие искусственным интеллектом жестикуляции и движений человека. Созданный пермскими лингвистами «словарь» используют для обучения человекоподобных роботов и создания реалистичной анимации.
Фото: Александр Баранов, Коммерсантъ
Фото: Александр Баранов, Коммерсантъ
Жестовая нотация (с англ. SignWriting) — система письменности, позволяющая зафиксировать мимику и жесты человека в виде отдельных «высказываний». Создателем системы жестовой нотации является Валери Саттон, американская танцовщица и хореограф. Российские исследования, связанные с жестовой нотацией, возникли в 90-е годы XX века. В силу того, что жестовый язык меняется намного быстрее, чем его успевают исследовать, ученые привлекают высокие технологии для обработки больших и разнородных объемов данных. Особая роль в развитии жестовой нотации принадлежит цифровой лингвистике.
Исследования на стыке филологии и IT развивает в ПГНИУ лаборатория социокогнитивной и компьютерной лингвистики. Подразделение объединяет специалистов в области лингвистики, прикладной математики, социологии, психологии, клинической медицины. Лаборатория оснащена современным оборудованием, позволяющим проводить исследования в области нейронаук, виртуальной реальности и интернета вещей. Коллектив лаборатории создает программное обеспечение, которое может совмещаться с приборной аппаратурой и используется для проведения полного цикла научного исследования.
Авторами статьи «Техносемантика жеста: о возможностях использования пермской жестовой нотации в программно-генерируемых средах» выступили сотрудники кафедры теоретического и прикладного языкознания филологического факультета ПГНИУ профессор Константин Белоусов и доцент Александар Талески, а также разработчик программного обеспечения, эксперт компании «Хьюмен Семантикс» Артем Агаев. Над сопутствующими задачами работают студенты Института компьютерных наук и технологий ПГНИУ, а также выпускники университета.
Авторы исследования отмечают, что передача информации происходит не только через язык, но и через жестикуляцию и движения человека. Поэтому для обучения антропоморфных роботов необходимо составить «словарь» из невербальных сообщений. Для создания такого корпуса знаний ученые сопоставляют устные высказывания и физическую реакцию и в дальнейшем обрабатывают. Затем из этих моделей создают антропоморфные 3D-модели, используя игровой движок Blender.
В итоге создан «словарь» для обучения человекоподобных роботов.
«Цель нашей работы — создать условия для реалистичных движений антропоморфных роботов или 3D-анимированных персонажей. Для этого нам нужно научиться на лету распознавать движения человека в видеопотоке и записывать их в виде формулы, которую уже передавать исполняющему устройству. Важно, что в результате мы получаем не просто рандомный, не поддающийся логике результат работы нейросетей. Мы ищем и создаем формулу движения, на основе которой искусственный интеллект повторяет, восполняет, корректирует и развивает сценарии движения»,— комментирует профессор кафедры теоретического и прикладного языкознания ПГНИУ Константин Белоусов.
Помимо сотрудничества с производителями роботов и программистами, усилия цифровых лингвистов ПГНИУ направлены на взаимодействие в области медицины. Разрабатываемые Константином Белоусовым и Александаром Талески модели тестируют для реабилитации людей с заболеваниями опорно-двигательного аппарата. Партнерами ученых выступают Пермский государственный медицинский университет и приглашенные эксперты в сфере медицинских наук из других регионов.
Используемая методология развивается в фарватере пермской школы социокогнитивной и компьютерной лингвистики.
«Вызов, с которым мы имеем дело,— это работа над формулами движений, которые включают в себя все составляющие одного движения, плюс возможность для дальнейших комбинаций и дополнений. В процессе работы мы продолжаем спрашивать себя: где и в каком направлении нам следует продвигаться? Это естественно, поскольку в данном исследовании огромный потенциал»,— отмечает доцент кафедры теоретического и прикладного языкознания ПГНИУ Александар Талески.