Глаза и уши с искусственным интеллектом

Слепая бабушка может играть с внуками в прятки

Российский стартап создал устройства, помогающие незрячим видеть, а глухим — проще общаться с окружающими.

Фото: Getty Images

Фото: Getty Images

Приборы «Робин» и «Чарли» разработала «Лаборатория “Сенсор-Тех”» (резидент «Сколково»). «Робин» дает слепым информацию об объектах, которые невозможно определить ни белой тростью, ни с помощью собаки-поводыря. Видит он благодаря встроенной камере, а еще в нем есть функция озвучивания, поэтому он говорит пользователю в наушник: «Десять метров до перехода» или «Подъехал автобус». Прибор распознает 50 различных объектов, в том числе крупные препятствия и дорожные знаки. Он даже считать умеет. Если впереди находятся четыре человека, «Робин» скажет: «Четыре человека». Если бутылки стоят на столе, он скажет: «Семь бутылок» или «Одна бутылка». И, конечно, в память «Робина» загружены фотографии людей, которых устройство уверенно опознает и вслух называет. «У нас есть незрячая пожилая дама, которая использует “Робина”. Так она с его помощью даже с внуками на даче в прятки играет!» — рассказывает Денис Кулешов, директор «Лаборатории “Сенсор-Тех”».

Прибор компактный, размером с большой смартфон, легко умещается в ладони. Пользователь держит его в руке, делает сканирующие движения — и гаджет выдает необходимую информацию. «Здесь основная инновация в том, что “Робин” — абсолютно автономная платформа и не требует подключения к интернету,— продолжает Денис Кулешов.— Большинство систем используют обработку на серверах, что занимает время, а если вдруг интернет отсутствует или работает с низкой скоростью, то распознавание вообще невозможно. У нас удачный симбиоз нашей аппаратной платформы и наших алгоритмов распознавания объектов позволил все это поместить в компактное устройство с высокой скоростью срабатывания».

«В основе устройства лежит технология искусственного интеллекта в форме компьютерного зрения,— объясняет Денис Кулешов.— Сначала мы учим искусственный интеллект распознавать нужные объекты с видеокамеры: собираем большие дата-сеты, то есть много изображений различных объектов, их аккуратно размечаем, то есть показываем компьютеру, где находится тот объект, который нас интересует, и где все остальное — фон или другие объекты. А дальше формируется файл, который называется “нейросеть”,— он, как человеческий мозг, обрабатывает изображения, которые в него поступают. Этот файл записывается в память устройства. Мы сумели сделать нейросеть настолько оптимизированной, а алгоритмы настолько компактными и нетребовательными к ресурсам компьютера, что у нас все функционирует внутри одного устройства. Там стоит мини-компьютер, работающий на операционной системе Linux, с маленькой материнской платой, маленьким процессором и остальной периферией и электроникой, которая к нему подключена».

Аналогов «Робина» нет нигде в мире. Похожее по смыслу устройство выпускается в Израиле в виде насадки на очки. Его основная функция — распознавание и озвучивание печатного текста. «Сенсор-Тех» тоже планирует в скором времени научить свой гаджет озвучивать текст слепому человеку. «Мы все время выпускаем обновления, добавляя новые функции, а также объекты, которые “Робин” может уверенно распознать»,— подчеркивает Денис Кулешов.

Для глухих и слабослышащих «Сенсор-Тех» разработал прибор «Чарли», который переводит речь в текст и выводит на экран. «Основной, если не единственный, способ общаться с такими людьми — писать вопросы и ответы на бумаге,— говорит Кулешов.— Мы решили эту ситуацию исправить. В “Чарли”, как и в “Робине”, стоит мини-компьютер, а в нем — так называемый массив микрофонов. Это восемь микрофонов, которые выделяют речь, отсекают шумы и т. д. “Чарли” позволяет в режиме реального времени переводить в текст речь, очищенную от шумов, комфортную для искусственного интеллекта. Движок по переводу речи в текст нам предоставил партнер — группа ЦРТ, один из лидеров в этой сфере».

В «Чарли» очень нуждаются учреждения, которые оказывают услуги людям с нарушением слуха, такие как центры соцзащиты, поликлиники, МФЦ. «Наш “Чарли” есть в некоторых МФЦ, в центре занятости “Моя карьера” в Москве. Судя по метрикам центра занятости, наш прибор работает в два раза быстрее и обходится в шесть раз дешевле, чем сурдопереводчик,— отмечает Денис Кулешов.— А буквально на днях мы отдали одно устройство “Чарли” на апробацию в Северо-Кавказский федеральный университет, чтобы они внедрили его в образовательный процесс».

Сегодня Денис Кулешов с коллегами из Министерства труда и социальной защиты и Министерства промышленности и торговли пытаются добиться того, чтобы «Робин» и «Чарли» были включены в федеральный перечень технических средств реабилитации. А пока «Робина» получил всего 21 человек — для России это капля в море. «По нашим оценкам, каждый год несколько тысяч незрячих могли бы эти устройства получать, если бы они предоставлялись им бесплатно,— считает Денис Кулешов.— Мы начали производство во второй половине 2019 года и сейчас выпускаем 20–30 устройств в квартал, но в следующем году, думаю, выйдем уже на сотни экземпляров».

Елена Туева

Загрузка новости...
Загрузка новости...
Загрузка новости...
Загрузка новости...
Загрузка новости...
Загрузка новости...
Загрузка новости...
Загрузка новости...
Загрузка новости...
Загрузка новости...
Загрузка новости...