К большим данным долгое время относились как к новой и не подтвердившей эффективность технологии. Несмотря на то что многие считали ее перспективной и воспринимали как своего рода отложенное будущее, ожидая появления первых кейсов по ее практическому использованию в интересах бизнеса. Но прошло время, и большие данные перестали быть новинкой для российского ИТ-рынка. Сегодня бизнес интересует практический аспект применения стека технологий, который скрывается за маркетинговым понятием Big Data в конкретной области, например финансовой.
Три кита одной технологии
В основе технологии Big Data лежат характеристики информации, так называемые три V: volume – обработка большого объема данных, variety – разнородность информации и velocity – быстрая обработка большого количества онлайн-данных. Причем в настоящее время наблюдается тенденция к типизации однородных данных, их сегментации для анализа. Поэтому такое качество, как variety, стоит оставить компаниям Google, Яндекс, Facebook, которые специализируются на анализе именно разнородных данных.
Если говорить о применении Big Data для финансовой сферы, то на первый план выходят две характеристики – большой объем данных и возможность потоковой обработки информации. То есть речь идет об использовании больших объемов накопленных однородных данных.
ПОДЗАГ// Сферы применения
Наиболее очевидная сфера применения Big Data в финансовых организациях – сбор, обработка и анализ данных для того, чтобы лучше узнать своих клиентов, оценить их платежеспособность, состоятельность и надежность. Такую информацию можно использовать в разных целях: например для составления персонализированных предложений клиентам. Так, проанализировать предпочтения пользователя на основе его действий можно на сайте банка или в результате анализа его транзакций. Благодаря решениям, позволяющим выявить такие закономерности, финансовые организации получают возможность разрабатывать новые финансовые продукты, составлять индивидуальные предложения для своих клиентов. На примере решения подобных задач очевидна сущность технологий для обработки больших данных.
Технических трудностей при сборе данных уже не возникает. Это можно сделать достаточно оперативно, несмотря на то что объемы получаемой информации действительно впечатляют. Но именно технологии Big Data позволяют объединить в одной плоскости задачи по накоплению, обработке информации, ее оперативному анализу и использованию аналитики в дальнейшем для принятия управленческих решений.
Есть задачи из области клиентской аналитики, которые можно решать с помощью инструментов Big Data. Актуальными они являются для финансовых организаций, работающих как с физическими, так и с юридическими лицами. В частности, речь идет о возможности проанализировать выручку по каждому клиенту, а затем обогатить эту информацию с помощью различных источников данных, чтобы найти скрытые возможности для роста доходов финансовой организации.
С другой стороны, иногда важно знать не только о благонадежности и реальных возможностях клиента, но и о рисках, которые могут быть с ним связаны. В поисках ответа на этот вопрос также могут помочь технологии Big Data, поскольку в режиме онлайн они позволяют отслеживать изменения в состоянии платежеспособности или поведения клиентов и быстро реагировать на ситуацию.
Помимо агрегации большого объема данных технологии Big Data могут быть полезны с точки зрения быстрой сегментации данных по определенным критериям и установлению зависимостей. Это может быть актуально для успешного решения задач, связанных с проведением маркетинговых кампаний или же с фрод-мониторингом.
Скорость обработки информации – важный критерий при решении не только специфических и относительно новых задач, связанных с клиентским анализом, но и классических задач, таких как расчет резервов на ежедневной основе. Стройная картина мира, которую создавали в финансовых организациях на протяжении многих лет, основываясь на данных из хранилищ, выверенных в так называемых центрах правды, на глазах трансформируется. Сегодня появились новые требования, вызовы, инструменты и даже терминология. И Big Data могут стать новым технологическим и архитектурным подходом для решения этих задач.
ПОДЗАГ// С чего начать?
Поскольку на сегодняшний день еще не сформировался пул типовых запросов и подходов для их реализации с помощью инструментов Big Data, начать внедрение технологии стоит с того, чтобы поставить локальную задачу. Тогда внедрение Big Data может происходить параллельно с использованием традиционных подходов и привычных технологий, дополнять их. Самый простой пример перехода к использованию Big Data – решение изолированной задачи, требующей быстрого решения. Например, речь может идти о расчете резервов или нормативов. Причем на этом этапе от заказчика не требуется больших вложений в инфраструктуру, так как Big Data предлагает использование обычных серверов (low end), которые можно добавлять в кластер по одному. Как правило, их стоимость на порядок меньше тех дисковых массивов, которые обычно выбирают при построении хранилищ. Кроме того, есть возможность использовать существующую ИТ-инфраструктуру хранилищ для построения параллельных процессов расчета необходимых показателей.
Такой подход дает возможность ИТ-специалистам заказчика из разных подразделений ознакомиться с конкретными инструментами Big Data, «потрогать» их. При успешной реализации первого проекта на Big Data можно продумывать и то, как эта технология может помочь в решении других текущих задач.
Как правило, финансовые организации имеют развитую инфраструктуру и сформировавшиеся классические подходы к решению различных задач, в том числе и в ИТ-сфере. С одной стороны, именно финансовые организации активно отслеживают изменения и нововведения на ИТ-рынке, а с другой – именно эти подходы и стереотипы иногда мешают быстро реагировать на меняющиеся условия и использовать новые инструменты.
ИТ-специалисты в финансовых организациях привыкли решать определенные задачи, применяя проверенный годами набор инструментов – надежных стабильных и понятных. И, согласитесь, довольно сложно представить, что другой подход позволит, например, выгрузить корректные клиентские данные, минуя этап их тщательной проверки.
Еще одна актуальная проблема – недостаточное количество специалистов, готовых работать с Big Data, а также все еще небольшое количество реальных кейсов по успешному использованию технологии именно в финансовом секторе. Но примеры появляются, поэтому отношение к Big Data со стороны финансовых организаций становится менее настороженным.
Одна из типичных ошибок, допускаемых при внедрении таких технологий, – попытка строить классическое хранилище с использованием технологий Big Data, что подразумевает наличие слоев, витрин и всего остального. Необходимо помнить, что Big Data – набор инструментов и подходов, которые предлагают иной концептуальный подход к решению задач в области обработки данных. Причем этот подход может оказаться на практике довольно непривычным, даже жестким, но позволяющим существенно сократить сроки обработки информации.
Что касается сроков выполнения проектов, то если речь идет о локальной задаче, которая позволит не ломать существующий ИТ-ландшафт, можно говорить о трех-четырех месяцах в среднем. По сути, время выполнения проекта зависит не от особенностей самой технологии. В частности, опыт работы с финансовыми организациями, накопленный «Неофлекс» за более чем 12 лет работы, позволяет обеспечить примерно одинаковое время выполнения проектов с использованием как традиционных ИТ-технологий, так и Big Data.
***
В заключение остается отметить, что на российском рынке почти все крупные банки так или иначе приобщились к Big Data. Но рынок ждет еще кейсов, расширения практики использования Big Data, чтобы предпринимать дальнейшие шаги в этой сфере.
