Лингвисты ПГНИУ опубликовали результаты исследования, посвящённого актуальным вопросам технолингвистики. Статья , изданная в престижном научном журнале «Научный результат. Вопросы теоретической и прикладной лингвистики» (Scopus), исследует вопросы восприятия искусственным интеллектом жестикуляции и движений человека. Созданный пермскими лингвистами «словарь» используют для обучения человекоподобных роботов и создания реалистичной анимации. Об этом сообщает федеральное издание «КоммерсантЪ-Наука».
Авторами статьи «Техносемантика жеста: о возможностях использования пермской жестовой нотации в программно-генерируемых средах» выступили сотрудники кафедры теоретического и прикладного языкознания филологического факультета ПГНИУ профессор Константин Белоусов и доцент Александар Талески , а также разработчик программного обеспечения, эксперт компании «Хьюмен Семантикс» Артем Агаев . Над сопутствующими задачами работают студенты Института компьютерных наук и технологий ПГНИУ, а также выпускники университета.
Авторы исследования отмечают, что передача информации происходит не только через язык, но и через жестикуляцию и движения человека. Поэтому для обучения антропоморфных роботов необходимо составить «словарь» из невербальных сообщений. Для создания такого корпуса знаний ученые сопоставляют устные высказывания и физическую реакцию и в дальнейшем обрабатывают. Затем из этих моделей создают антропоморфные 3D-модели, используя игровой движок Blender.
В итоге создан «словарь» для обучения человекоподобных роботов.
«Цель нашей работы – создать условия для реалистичных движений антропоморфных роботов или 3D-анимированных персонажей. Для этого нам нужно научиться «на лету» распознавать движения человека в видеопотоке и записывать их в виде формулы, которую уже передавать исполняющему устройству. Важно, что в результате мы получаем не просто рандомный, не поддающийся логике результат работы нейросетей. Мы ищем и создаём формулу движения, на основе которой искусственный интеллект повторяет, восполняет, корректирует и развивает сценарии движения» , – комментирует профессор кафедры теоретического и прикладного языкознания ПГНИУ профессор Константин Белоусов.
Помимо сотрудничества с производителями роботов и программистами, усилия цифровых лингвистов ПГНИУ направлены на взаимодействие в области медицины. Разрабатываемые Константином Белоусовым и Александаром Талески модели тестируют для реабилитации людей с заболеваниями опорно-двигательного аппарата. Партнёрами учёных выступают Пермский государственный медицинский университет и приглашённые эксперты в сфере медицинских наук из других регионов.
Используемая методология развивается в фарватере пермской школы социокогнитивной и компьютерной лингвистики .
«Вызов, с которым мы имеем дело – это работа над формулами движений, которые включают в себя все составляющие одного движения, плюс возможность для дальнейших комбинаций и дополнений. В процессе работы мы продолжаем спрашивать себя: где и в каком направлении нам следует продвигаться? Это естественно, поскольку в данном исследовании огромный потенциал» , – отмечает доцент кафедры теоретического и прикладного языкознания ПГНИУ Александар Талески.
Для справки:
Жестовая нотация (с англ. SignWriting) – система письменности, позволяющая зафиксировать мимику и жесты человека в виде отдельных «высказываний». Создателем системы жестовой нотации является Валери Саттон, американская танцовщица и хореограф. Российские исследования, связанные с жестовой нотацией, возникают в 90-е года XX века. В силу того, что жестовый язык меняется намного быстрее, чем его успевают исследовать, учёные привлекают высокие технологии для обработки больших и разнородных объёмов данных. Особая роль в развитии жестовой нотации принадлежит цифровой лингвистике.
Исследования на стыке филологии и IT развивает в ПГНИУ лаборатория социокогнитивной и компьютерной лингвистики . Подразделение объединяет специалистов в области лингвистики, прикладной математики, социологии, психологии, клинической медицины. Лаборатория оснащена современным оборудованием, позволяющим проводить исследования в области нейронаук, виртуальной реальности и интернета вещей. Коллектив лаборатории создает программное обеспечение, которое может совмещаться с приборной аппаратурой и используется для проведения полного цикла научного исследования.
Набирающая в XXI веке обороты цифровизация позволяет вывести отношения между людьми и «машинами» на новый уровень, способствуя их взаимопониманию и создавая модели, которые развиваются в кросс-научном поле, на стыке естественных и гуманитарных дисциплин. Ранее мы писали о том, что учёные Пермского университета создают цифровые копии органов человека для отработки сценариев прогнозирования и лечения заболеваний .
Центр общественных связей
