Создана сервисная платформа на основе дополненной реальности и нейросетей

Компания Spider Group, международный разработчик мобильных решений для бизнеса, анонсировала промышленную версию платформы FASTEP, содержащей пошаговые инструкции к профессиональному оборудованию в формате дополненной реальности. Эта полностью российская разработка создана инженерами компании Spider Group в сотрудничестве с учеными Санкт-Петербургского государственного электротехнического университета ЛЭТИ.

FASTEP работает на смартфонах и очках дополненной реальности. Посредством пошаговых руководств с графическими подсказками платформа заменяет бумажные и электронные документы при обучении и дополнительной подготовке специалистов, а также при проведении регламентных операций.

Основными составляющими платформы являются мобильные приложения, серверная часть для хранения данных и вычислений, модуль дополненной реальности и нейросети, которые узнают и классифицируют оборудование при наведении камеры. Это ИИ-ассистент для автономизации технического персонала, соответствующий концепции Augmented Worker в рамках «Промышленности 4.0».

Петербургский ЛЭТИ отвечает за разработку нейросетевых алгоритмов. Научным консультантом проекта выступил Иван Тюкин, доктор технических наук, профессор кафедры автоматики и процессов управления СПбГЭТУ ЛЭТИ, заведующий лабораторией визуального интеллекта Лестерского университета (Великобритания). Группа ученых ЛЭТИ занимается разработкой модуля для мобильных устройств, работающих под управлением операционных систем iOS и Android, на основе искусственного интеллекта. Модуль позволяет классифицировать, то есть определять модель или серию моделей промышленной и бытовой техники, имеющих общую инструкцию по эксплуатации, и идентифицировать объекты техники, то есть находить в базе данных соответствующую инструкцию и определять местоположение кнопок на 3D-модели объекта для привязки к ним подсказок.

«Цель разработки сервиса — повышение эффективности использования техники, электроники и оборудования, которые применяются в промышленности и быту, сокращение затрат на послепродажное обслуживание техники за счет получения пользователем доступа к полному каталогу интуитивно понятных интерактивных пошаговых инструкций по эксплуатации. У ЛЭТИ сложная задача: алгоритмы классификации, детектирования, трекинга на основе нейросетей довольно ресурсоемкие, а эффективной реализацией новых архитектур нейросетей на мобильных устройствах еще почти никто не занимался. Мы пытаемся найти компромисс между скоростью и нужной точностью. К тому же существует определенная специфика при написании мобильных приложений под разные платформы»,— комментирует руководитель научной группы, доцент кафедры автоматики и процессов управления СПбГЭТУ ЛЭТИ Дмитрий Каплун.

Исследования и пилотные проекты демонстрируют, что подобные решения повышают точность операций на 90%, ускоряют работу на 25% и способны снизить количество ошибок до нуля. Приложения FASTEP также могут фиксировать на видео процесс и результат проведения операций, снабжать полевого специалиста данными о состоянии оборудования в реальном времени благодаря интеграции со SCADA и другими информационными системами и позволяют совещаться с дистанционными экспертами в экстренных ситуациях. В 2019 году FASTEP был подержан грантом объемом 20 млн руб. от Фонда содействия инновациям. Проект прошел два бизнес-акселератора — сначала на региональном, а потом на федеральном уровне — и сейчас является резидентом акселератора MTS Startup Hub компании МТС.

Александр Бухановский, директор Национального центра когнитивных разработок Университета ИТМО:

— Несомненно, эта платформа повышает эффективность обучения использованию оборудования и проведения с ним типовых операций. Просто в силу наглядности и простоты такой визуальной инструкции. При этом отличительной особенностью платформы является возможность распознавания объектов непосредственно на мобильном устройстве, тогда как у многих конкурентов это делается в «облаке». Таким образом, разработка будет полезна даже там, где интернет неустойчив.

Такая платформа хороша для обучения типовым операциям с техникой в стандартных условиях. Например, как напоминалка, как ввести программу в стиральную машину. А вот в ситуациях, где нужен творческий подход, например обнаружить и устранить неисправность, возможности такой разработки явно недостаточны. Для того чтобы реализовать это, нужны дополнительные интеллектуальные механизмы, например бот-советчик, обученный на технической документации, который будет отслеживать действия человека и выдавать ему рекомендации прямо на устройстве дополненной реальности. Надеюсь, что это вопрос будущего развития платформы.

Судя по описанию, это решение хорошо подходит для бытового использования, где операции стандартные и несложные. Потому можно не просто научить, но даже обеспечить поддержкой при деградации когнитивных способностей (иными словами — помогать забывчивым людям вспомнить, как включить телевизор и когда надо выключить плиту). Для больших предприятий это полезно в основном на этапе обучения, а также как средство контроля корректности типовых операций по сервисному обслуживанию.

Такая разработка не обладает принципиальной новизной, и разнообразные аналоги в мире существуют. Например, ими, как правило, снабжается дорогая военная техника в экспортном варианте (такие разработки есть и в ВПК РФ). Однако достоинство разработки в том, что она является гораздо более гибкой, что позволяет ее применять к разнообразной бытовой технике. Как следствие, это и широта применения, и социальный эффект.

Илья Мирин, директор Школы цифровой экономики ДВФУ, вуза—участника проекта «5-100»:

— VR и AR — гибкая вещь, с помощью которой в большинстве случаев можно решать интерфейсные задачи, делать так, чтобы на практике они стали удобнее. Вопрос остается в рациональности и затратах. Не уверен, что она вообще будет использоваться. Для этого платформа должна быть эффективнее, а ее функционал шире, чем просто обучение сотрудников. Она должна давать какие-то существенные выгоды, выраженные в деньгах. Пока виртуальная и дополненная реальность в таком не замечена в принципе.

Между тем, VR и AR — дело достаточно затратное. Стоимость разработки складывается из стоимости терминальных устройств, на которых идет отрисовка, «железа», которое позволяет это рисовать, определенных облачных платформ, если нужны, и т. д. Ну и, конечно, сама разработка, цена которой сопоставима с ценой разработки топовых игр класса ААА. Возникает очень простой вопрос: потратив такие деньги, мы получим что-то принципиально иное, чего мы не получили бы без виртуальной и дополненной реальности?

В России и в мире есть аналоги. Почти у каждой крупной индустриальной группы типа автопроизводителей есть в портфеле похожие проекты, но они скорее на вырост. Значимых успехов пока нет. Основная трудность — все тот же вопрос рентабельности, который актуален для всех отраслей. Скажем, сделали VR-тренажер для пилотов, а в чем его преимущество относительно классических тренажеров, которые и так можно назвать формой виртуальной и дополненной реальности, но просто без очков? Сделали тренажер для управляющих электровагонеткой. Зачем? За меньшие деньги можно построить небольшой полигон, где все обучающиеся будут ездить на реальных вагонетках и разбираться, как они работают. Давайте не забывать, что, как и любая разворачиваемая IT-инфраструктура, VR- и AR-системы требуют людей, которые будут их обслуживать, контролировать, обучать. Когда поднимается вопрос рентабельности, преимущества VR и AR пока неочевидны, поэтому мегауспехов в отрасли нет. Это вопрос будущего.

Александр Замятин, директор Института прикладной математики и компьютерных наук ТГУ:

— Вполне возможно, что эта платформа будет удобна в использовании. Особенно с развитием и распространением персонального оборудования дополненной реальности — очков. Все-таки пока они далеки от совершенства. Да и достаточно дороги. Со временем подобные технологии идентификации будут находить все более широкое применение.

Очевидно, что с развитием технологии алгоритмы будут способны подобным образом автоматически идентифицировать самые различные объекты: машины, дома, животных, бытовую технику и т. п., давая, например, справку о дате выпуска, стоимости и др., дополняя реальность человека полезной информацией о том или ином объекте.

Конечно, подобные разработки ведутся и есть аналоги. Например, Томский государственный университет совместно с компанией «Рубиус» разработал прототип программной платформы, позволяющей визуализировать с использованием технологий дополненной реальности параметры технологических процессов производственной инфраструктуры в реальном времени.

Алексей Окунев, директор Высшего колледжа информатики НГУ, проректор по программам развития:

— Я ознакомился с разработкой, установив приложение на Android. На текущий момент около 1000 скачиваний, 12 отзывов со средним баллом 4. Жалобы на типичные для нового софта баги: зависания, вылетания. Android-версия, конечно, для маленьких детей. Не для очень пожилых, так как они смартфонами и Google Play не пользуются. А те, кто пользуется, в инструкциях для младенцев не нуждаются. Чтобы использовать эту программу в бытовых условиях, надо полностью поменять идею проекта. Он должен превратиться в краудсорсинговую платформу, где умельцы всех мастей постят свои рецепты.

Вроде Stack Overflow, но для «железа». К сожалению, в России проекты такого типа на акселераторах зарубаются на корню, так как эксперты не видят перспектив быстрой коммерциализации и cash back.

Заявлено, что аналогичная технология будет дополнена модулем виртуальной реальности и распознаванием. Это трендовое направление в бизнес-обучении и инструктаже. Конечно, есть аналогичные разработки и в России, и за рубежом. И надо продолжать инвестировать в это направление ресурсы и время разработчиков. При этом следует учесть несколько моментов. Шлемы VR пока не заходят в игровую индустрию, то есть долгосрочно пользоваться ими неудобно. Очки VR также не завоевали популярности. Google Glass появились почти одновременно с умными часами. Продажи часов идут сотнями миллионов. А где очки? Пока применение технологий глубокого обучения требует широких каналов связи и мощных серверов в бэкэнде. Зависания и залипания гарантированы. Нужно убедиться, что проблемы передачи данных решены. Технологии глубокого обучения требуют fine tuning под конкретные условия. Необходимость выделения дополнительных ресурсов наfine tuning может сделать невыгодным точечные внедрения.

Вышесказанное — типичные трудности, которые возникают на пути любой высокотехнологичной разработки. Желаю коллегам успехов в их преодолении и успешной коммерциализации!

Подготовлено при участии проекта «5-100»