Зачем Big Data объединяться, и что такое Data Fusion

Глава департамента анализа данных и моделирования ВТБ Максим Коновалихин — о том, можно ли увеличить большие данные и зачем

Выйти из полноэкранного режима

Развернуть на весь экран

Термин «Big Data» постоянно звучит из самых разных источников. Про важность анализа и работы с большими данными говорят все вокруг: от совсем небольших фирм до транснациональных корпораций, часто данные сравнивают с нефтью и светом. Компании утверждают, что работа с Big Data — это минимум, без которого невозможно создавать новые продукты и делать сервисы более комфортными. При этом клиенты многих компаний продолжают получать раздражающие рассылки и звонки в неудобное время. В чем же проблема?

Ответ простой и сложный одновременно. Простой, потому что решение кажется очевидным — для формирования не надоедливой, ненужной рекламы, а по-настоящему полезных клиентам предложений и сервисов нужно объединять обезличенные данные из разных источников, накладывать их друг на друга и работать с этими Big Data в квадрате, кубе и других степенях с помощью различных технологий. Сложный, потому что это очевидное решение очень непросто реализовать на практике: мало кто хочет делиться данными с конкурентами, существуют ограничения на обмен и передачу данных и т. д. Кроме того, встают вопросы: как сделать объединение данных максимально безопасным? Какие технологии для работы с объединенными данными выбрать? Специалисты ВТБ и партнеров банка с разных сторон смотрели на возможности решения этих вопросов и выбрали в качестве приоритетного направления работы с массивами Big Data подход Data Fusion.

В чем суть

Концепция Data Fusion изначально появилась в аэрокосмической отрасли и робототехнике. Под Data Fusion понимались алгоритмы, которые объединяли и обрабатывали данные от различных датчиков для автоматического принятия наиболее эффективного решения. Позже понятие расширилось и трансформировалось. Теперь мы понимаем под Data Fusion не только одновременное использование разных и косвенно связанных массивов Big Data, но и применение для их обработки сразу нескольких технологий. Например, машинное обучение и георазметка данных или графовая аналитика и машинное обучение.

Очень важно, что подход Data Fusion позволяет не просто сопоставлять данные, но и использовать разные алгоритмы анонимизации для их защиты, так как безопасность данных сегодня один из ключевых вопросов, вызовов.

Где кроме банков

Удивительно, но один из неочевидных примеров применения Data Fusion — атомная электростанция. Генерация, сбор и обработка данных о событиях и мгновенное принятие решений на основе алгоритмов машинного обучения и искусственного интеллекта — яркая иллюстрация управления процессом на основе данных из разных источников. Современное навигационное ПО в наших любимых смартфонах также решает логистическую задачу с применением Data Fusion. Алгоритмы в режиме онлайн обрабатывают объединенные данные, которые собираются с различных устройств и преобразуются в динамические геоаналитические слои.

Практически во всех отраслях бизнеса сегодня необходимо формирование таргетированной рекламы. Компании из совершенно различных сфер давно поняли, что без объединения данных они не смогут выиграть в конкурентной гонке по этому направлению, потому подход Data Fusion уже активно используют лидеры рынка в ритейле, банковском, страховом, рекламном, логистическом бизнесе.

Как работает на практике

ВТБ и «Ростелеком» создали совместное предприятие Platforma («Платформа больших данных»), которое активно применяет в своей работе подход Data Fusion. Компания создает инфраструктуру и алгоритмы для безопасного объединения данных из разных отраслей. Уже сегодня на основе больших данных Platforma формирует таргетированные аудитории для рекламного рынка, представляет в формате B2B сервисы по выделению сегментов физических или юридических лиц, склонных к какому-либо продукту.

Применение Data Fusion является важной частью цифровой трансформации многих организаций, в том числе ВТБ. На текущий момент в рамках трансформации мы уже смогли объединить данные разных направлений внутри банка и массивов Big Data партнеров. Обработка данных производится алгоритмами машинного обучения с помощью созданных геоаналитической платформы, графовой платформы, стриминговой платформы. Экономический эффект от этого уже составляет миллиарды рублей.