Российский стартап создал устройства, помогающие незрячим видеть, а глухим — проще общаться с окружающими.
Фото: Getty Images
Фото: Getty Images
Приборы «Робин» и «Чарли» разработала «Лаборатория “Сенсор-Тех”» (резидент «Сколково»). «Робин» дает слепым информацию об объектах, которые невозможно определить ни белой тростью, ни с помощью собаки-поводыря. Видит он благодаря встроенной камере, а еще в нем есть функция озвучивания, поэтому он говорит пользователю в наушник: «Десять метров до перехода» или «Подъехал автобус». Прибор распознает 50 различных объектов, в том числе крупные препятствия и дорожные знаки. Он даже считать умеет. Если впереди находятся четыре человека, «Робин» скажет: «Четыре человека». Если бутылки стоят на столе, он скажет: «Семь бутылок» или «Одна бутылка». И, конечно, в память «Робина» загружены фотографии людей, которых устройство уверенно опознает и вслух называет. «У нас есть незрячая пожилая дама, которая использует “Робина”. Так она с его помощью даже с внуками на даче в прятки играет!» — рассказывает Денис Кулешов, директор «Лаборатории “Сенсор-Тех”».
Прибор компактный, размером с большой смартфон, легко умещается в ладони. Пользователь держит его в руке, делает сканирующие движения — и гаджет выдает необходимую информацию. «Здесь основная инновация в том, что “Робин” — абсолютно автономная платформа и не требует подключения к интернету,— продолжает Денис Кулешов.— Большинство систем используют обработку на серверах, что занимает время, а если вдруг интернет отсутствует или работает с низкой скоростью, то распознавание вообще невозможно. У нас удачный симбиоз нашей аппаратной платформы и наших алгоритмов распознавания объектов позволил все это поместить в компактное устройство с высокой скоростью срабатывания».
«В основе устройства лежит технология искусственного интеллекта в форме компьютерного зрения,— объясняет Денис Кулешов.— Сначала мы учим искусственный интеллект распознавать нужные объекты с видеокамеры: собираем большие дата-сеты, то есть много изображений различных объектов, их аккуратно размечаем, то есть показываем компьютеру, где находится тот объект, который нас интересует, и где все остальное — фон или другие объекты. А дальше формируется файл, который называется “нейросеть”,— он, как человеческий мозг, обрабатывает изображения, которые в него поступают. Этот файл записывается в память устройства. Мы сумели сделать нейросеть настолько оптимизированной, а алгоритмы настолько компактными и нетребовательными к ресурсам компьютера, что у нас все функционирует внутри одного устройства. Там стоит мини-компьютер, работающий на операционной системе Linux, с маленькой материнской платой, маленьким процессором и остальной периферией и электроникой, которая к нему подключена».
Аналогов «Робина» нет нигде в мире. Похожее по смыслу устройство выпускается в Израиле в виде насадки на очки. Его основная функция — распознавание и озвучивание печатного текста. «Сенсор-Тех» тоже планирует в скором времени научить свой гаджет озвучивать текст слепому человеку. «Мы все время выпускаем обновления, добавляя новые функции, а также объекты, которые “Робин” может уверенно распознать»,— подчеркивает Денис Кулешов.
Для глухих и слабослышащих «Сенсор-Тех» разработал прибор «Чарли», который переводит речь в текст и выводит на экран. «Основной, если не единственный, способ общаться с такими людьми — писать вопросы и ответы на бумаге,— говорит Кулешов.— Мы решили эту ситуацию исправить. В “Чарли”, как и в “Робине”, стоит мини-компьютер, а в нем — так называемый массив микрофонов. Это восемь микрофонов, которые выделяют речь, отсекают шумы и т. д. “Чарли” позволяет в режиме реального времени переводить в текст речь, очищенную от шумов, комфортную для искусственного интеллекта. Движок по переводу речи в текст нам предоставил партнер — группа ЦРТ, один из лидеров в этой сфере».
В «Чарли» очень нуждаются учреждения, которые оказывают услуги людям с нарушением слуха, такие как центры соцзащиты, поликлиники, МФЦ. «Наш “Чарли” есть в некоторых МФЦ, в центре занятости “Моя карьера” в Москве. Судя по метрикам центра занятости, наш прибор работает в два раза быстрее и обходится в шесть раз дешевле, чем сурдопереводчик,— отмечает Денис Кулешов.— А буквально на днях мы отдали одно устройство “Чарли” на апробацию в Северо-Кавказский федеральный университет, чтобы они внедрили его в образовательный процесс».
Сегодня Денис Кулешов с коллегами из Министерства труда и социальной защиты и Министерства промышленности и торговли пытаются добиться того, чтобы «Робин» и «Чарли» были включены в федеральный перечень технических средств реабилитации. А пока «Робина» получил всего 21 человек — для России это капля в море. «По нашим оценкам, каждый год несколько тысяч незрячих могли бы эти устройства получать, если бы они предоставлялись им бесплатно,— считает Денис Кулешов.— Мы начали производство во второй половине 2019 года и сейчас выпускаем 20–30 устройств в квартал, но в следующем году, думаю, выйдем уже на сотни экземпляров».