В 2014 году на конференции LeWeb в Париже «Яндекс» объявил о создании Yandex Data Factory — международном направлении для решения бизнес-задач компаний, которые имеют дело с большими массивами данных. Исполнительный директор Yandex Data Factory Александр Хайтин на «Иннопроме-2016» — участник панельной дискуссии «Промышленный интернет вещей и большие данные в российской промышленности: эволюция или революция?». В интервью он рассказал о тенденциях в сфере обработки больших данных (Big Data).
— Чем занимается Yandex Data Factory сегодня?
— Технологии «Яндекса» — машинное обучение, распознавание образов и речи, глубокие нейронные сети, обработка естественного языка — позволяют проанализировать эти данные и получить решение задачи. Помимо технологий, необходимых для обработки «больших данных», «Яндекс» располагает сильнейшими экспертами в этой области. Yandex Data Factory создает и предоставляет заказчикам разного рода предсказательные и рекомендательные сервисы, основанные на технологиях машинного обучения. Они призваны решать конкретную бизнес-задачу клиента и позволяют получить измеримый экономический эффект за счет сокращения затрат или увеличения объема продаж.
Часть предоставляемых сервисов ориентирована на поведенческую аналитику. В этой области решаются задачи предсказания оттока, рекомендательные системы, предлагающие потребителям товары или услуги с учетом вероятности их приобретения. Есть решения по предсказанию спроса, по оптимизации производства. Например, рекомендательная система по использованию ферросплавов при производстве стали. Отдельно можно выделить решения в области компьютерного зрения.
Весной Yandex Data Factory разработала сервис автоматической модерации изображений. Он может быть полезен компаниям, которые тратят много ресурсов на модерацию контента, загружаемого пользователями: социальным сетям, сервисам знакомств, сайтам объявлений, маркетплейсам.
— Каковы финансовые результаты внедрения решений Yandex Data Factory для клиентов?
— Когда мы говорим об оптимизации, не стоит ожидать поражающих воображение улучшений. Большая часть простых решений уже принята, поэтому для нас хороший результат это улучшение какого-либо показателя (продажи, экономия материалов) от 2-3% до 10%. Для бизнеса с большим оборотом такое улучшение превращается в существенные деньги. Особняком стоят сервисы, напрямую автоматизирующие тот или иной процесс (в частности автомодерация), тут экономия может быть значительной и составлять десятки процентов от текущих затрат. Некоторые решения открывают для заказчиков принципиально новые возможности. Примером такого решения может быть сервис для ЦБ, который позволяет решать задачи, ранее невыполнимые. В феврале 2016 года аналитики Yandex Data Factory построили для Центробанка специализированную модель поиска сайтов организаций, предлагающих потребительские займы. Она находит релевантные страницы из миллиардов, хранящихся в поисковом индексе «Яндекса», и с помощью технологии машинного обучения «Матрикснет» оценивает их вероятный юридический статус.
— Для каких отраслей в первую очередь полезны такие продукты и решения?
— Для разных заказчиков — разные сервисы. Когда мы говорим об оптимизации, необходимыми предпосылками успеха являются наличие достаточных данных и существенный оборот. Без данных невозможно оптимизировать, а при малом обороте оптимизация не дает существенного эффекта. Машинное обучение может быть применено к разным отраслям.
— Каковы тенденции в сфере интернета вещей?
— Технологии сейчас быстро развиваются. Многие события проходят незамеченными. Например, мало кто задумывается о том, что подбор контента в Facebook производится автоматически при ограниченном контроле со стороны пользователя. Также привычным стало использование автомобильной навигации, включающей прогноз пробок. Поскольку новые технологии затрагивают практически все области бизнеса и промышленности, выбор наиболее ярких примеров чаще всего идет в пользу наиболее простых, доступных как авторам, так и читателям, без необходимости вникнуть в проблему. Следствием этого становятся слишком сильные упрощения.
По нашим оценкам, сейчас пройден первый «разговорный» этап, когда преобладало стремление узнать и понять новые технологии, но до практического их применения дело доходило редко. Сейчас заказчики активно пробуют эти технологии «на вкус», ведут разного рода пилотные и экспериментальные проекты. Вероятно, следующим этапом будет массовое промышленное применение технологий.
Реализуемые проекты Yandex Data Factory (YDF)
В августе 2015 года YDF анонсировали подписание соглашения о построении математической модели плавки стали в кислородно-конвертерном цехе (ККЦ) Магнитогорского металлургического комбината.
В ноябре 2015 года Yandex Data Factory, фармацевтическая компания «Астразенека» и Российское общество клинической онкологии RUSSCO запустили платформу RAY для обработки и хранения данных геномного секвенирования. Она предназначена для генетиков и молекулярных биологов. Платформа поможет улучшить методы диагностики рака и выявления предрасположенности к онкологическим заболеваниям.
В ноябре 2015 года Yandex Data Factory договорилась о стратегическом партнерстве, в рамках которого планируется создать сервисы, позволяющие спрогнозировать отток клиентов, выявить абонентов с потребностью в мобильном интернете, повысить эффективность работы специалистов по продажам в колл-центрах и оптимизировать затраты на рекламу за счет ее персонализации.
По заказу Федерального дорожного агентства Yandex Data Factory разработала систему прогнозирования заторов и ДТП. Система предсказывает ситуацию на дорогах, показывает прогноз на интерактивной карте и обновляет его в реальном времени.
Разработчики и аналитики Yandex Data Factory научились предсказывать, какое количество игроков World of Tanks с большой степенью вероятности могут оставить игру. Для решения были использованы данные о 100 тыс. случайных пользователей, включающие более 100 параметров (информация о покупках, играх, количеству и типу боев в играх, количество уничтоженных вражеских танков, опыт и других). Прогноз, построенный с помощью технологии машинного обучения «Матрикснет», оказался на 20–30% точнее привычных инструментов анализа, которые используют в игровой индустрии. World of Tanks от Wargaming имеет 100 млн зарегистрированных игроков во всем мире.