Нейросеть грязи не боится
Компьютерное зрение помогает контролировать содержание объектов дорожного хозяйства
Граффити на фасадах, остановках и столбах, грязные дорожные знаки, переполненные урны и много чего еще успешно распознает аппаратно-программный комплекс FG-Nestbox-01, созданный на основе искусственной нейронной сети российской IT-компанией FIVEGEN, которая занимается разработкой программного обеспечения в сфере видеостриминга и обработки мультимедийных данных на основе искусственного интеллекта. Если говорить проще, все это «видит» компьютерное зрение — технология, позволяющая получать информацию из изображений, которые анализируются с помощью алгоритмов машинного обучения и обработки данных.
Фото: Александр Миридонов, Коммерсантъ
Фото: Александр Миридонов, Коммерсантъ
Как это происходит? Сначала изображение преобразуется в цифровую форму, то есть осуществляются его сжатие, фильтрация шума и т. д., чтобы визуальные данные можно было обрабатывать на компьютере. Затем идет выделение признаков: система определяет важные характеристики изображения, такие как края, текстуры, форма и цвет, которые используются для дальнейшего анализа. Следующий этап — обработка признаков, то есть их анализ и формирование модели для интерпретации результатов, когда система использует обработанные данные для принятия решения или выполнения определенной задачи. Это может быть определение типа объекта, его положения или движения. Результаты анализа представляются в удобной форме, такой как числовые значения, текст или визуализация.
Процесс обучения компьютерного зрения очень похож на обучение языковых моделей искусственного интеллекта (GPT-чат, GigaChat, Яндекс.GPT), говорят в компании, только тут для этих целей используются фото и отмеченные на них объекты или связанные с ними признаки (например, нарушения). Комплекс искусственных нейронных сетей (КИНС) обучается выявлять на фото аналогичные силуэты объектов и нарушения в их состоянии (например, грязные дорожные знаки), а затем фиксировать это как признак нарушения.
КИНС состоит из видеокамеры (чаще всего для более точной картинки используются две камеры), серверного блока и связывающей их шины — провода — и устанавливается на автомобиль. Видеокамера самая обычная. Она крепится к лобовому стеклу и смотрит чуть вправо, чтобы видеть не только дорогу перед машиной, но и пространство справа от нее. Серверный блок, хранящий в своем металлическом корпусе всю электронику и внутренние компоненты системы, устанавливается под сиденьем водителя. Шина прокладывается по салону так, чтобы быть незаметной и никому не мешать.
Аппаратно-программный комплекс FG-Nestbox-01
Фото: ОАТИ
Аппаратно-программный комплекс FG-Nestbox-01
Фото: ОАТИ
Вот уже три года автомобили, оснащенные КИНС, ездят по Москве. Объединение административно-технических инспекций города Москвы (ОАТИ) использует комплекс для выявления недочетов в сфере дорожного хозяйства и благоустройства. «Высокотехнологичное оборудование позволило специалистам объединения в несколько раз увеличить число обследуемых объектов. Благодаря ему они могут обрабатывать и систематизировать собранную информацию в режиме реального времени, чтобы реагировать незамедлительно»,— отмечает начальник ОАТИ Александр Ларин. Компьютерное зрение умеет фиксировать девять типов нарушений: стертую дорожную разметку, повреждение асфальтобетонного покрытия, бортового камня, загрязнения дорожных знаков и опор освещения, граффити, грязные остановки, переполненные урны, неудовлетворительное содержание цветников.
В видеопотоке с камеры КИНС с помощью компьютерного зрения определяет объекты, которым обучен, а затем анализирует их внешний вид. Если видит какие-то аномалии, то делает скриншот и на нем красным прямоугольником выделяет объект, находящийся в неудовлетворительном состоянии. Скриншот обрабатывается в серверном блоке и отправляется в единую информационную систему ОАТИ. Там за дело берутся инспекторы. Они проверяют выявленные КИНС нарушения и подтверждают их или опровергают, если система ошиблась. Благодаря этому происходит процесс постоянного дообучения системы. Но уже сейчас точность выявления нарушений составляет более 90%.
Информация о нарушениях поступает в информационную систему обеспечения деятельности Центра автоматизированной фиксации административных правонарушений в сфере коммунального хозяйства (ИС ЦАФАП ЖКХ), где у каждого балансодержателя (проще говоря, организации, ответственной за содержание) есть личный кабинет. Балансодержатели видят информацию вместе с уведомлением о том, в какие сроки нарушение необходимо устранить. Максимальный срок устранения нарушений — 47 дней, но обычно все исправляется за три. Фото отремонтированного объекта загружается в информационную систему, инспектор ОАТИ подтверждает, что нарушение устранено, и снимает его с контроля.
Аппаратно-программный комплекс FG-Nestbox-01
Фото: ОАТИ
Аппаратно-программный комплекс FG-Nestbox-01
Фото: ОАТИ
Каждый из 11 автомобилей, на которых установлен КИНС, за день проезжает около 100 км, выявляя за месяц до 450 нарушений. На следующий год уже запланировано появление на дорогах еще десяти машин.
А FIVEGEN тем временем продолжает обучать компьютерное зрение. Сейчас в компании разрабатывают детекторы для «зимних» нарушений — навала снега на дорогах, тротуарах, остановках общественного транспорта. В ближайших планах — выявление нарушений в содержании строительных площадок, повреждения металлических оград, а также обнаружение грузового транспорта, «припаркованного» в жилых зонах.