27 ноября состоялся митап «Миграция КХД на современный стек: преимущества, стратегии и лучшие практики перехода», организованный компанией «НОРБИТ». Спикеры обсудили актуальные вопросы, касающиеся перехода на современные технологии в области хранения данных, подчеркнув важность адаптации к новым реалиям рынка и обеспечения безопасности информации. В ходе мероприятия были представлены успешные кейсы, стратегии и рекомендации, которые помогут компаниям эффективно и безопасно перейти на новые технологические платформы.
Последние несколько лет тема миграции на отечественный софт становится все более актуальной для многих предприятий. Причины могут быть совершенно разными. Марина Пилипонис, руководитель направления КХД компании «НОРБИТ» выделила некоторые из них. Основная– уход вендоров с российского рынка, что повлекло за собой отсутствие поддержки и развития их продуктов. Это, в свою очередь, ставит под угрозу безопасность данных.
И еще одна причина – запрет регулятора на использование иностранного программного обеспечения. Подобные ограничения способствовали развитию отечественных продуктов и значительно повысили экспертизу в области использования российского программного обеспечения, что положительно сказалось на надежности продуктов. В настоящее время отечественные разработчики ПО сосредоточены на улучшении функциональности, безопасности и производительности, адаптируя свои продукты под потребности заказчиков. Указанные факторы способствовали развитию на рынке целых технологических экосистем, что также повлияло на принятие решений о переходе. «Плюсом использования экосистемы является то, что мы всегда сможем рассчитывать на комплексную поддержку и развитие наших продуктов, не будем думать о нюансах интеграции между компонентами нашей системы, так как она будет проработана», – отметила Марина Пилиполис.
С чего начать процесс миграции?
Очень важно подойти к этой задаче комплексно, чтобы впоследствии не возникло непредвиденных ситуаций. Эксперты компании «НОРБИТ» считают, что в первую очередь стоит обратить внимание на выявление бизнес-потребностей и ключевых сущностей. «Прежде чем отрисовать целевую архитектуру и перенести «один в один» условный технологический стек, который будет заменен новым, нужно отрисовать карту бизнес-доменов, сформировать список ЛПР и провести с ними установочные встречи, чтобы ответить на главные вопросы. Что сейчас нравится в хранилище, что нравится, но хотелось бы улучшить, и, самое главное, чего не хватает. Ответив на эти вопросы, мы поймем, что надо переносить в новое хранилище, что точно нужно модифицировать и что хотелось бы добавить», – пояснила Марина.
Следующим шагом спикер выделила стратегию оценки успешности миграции. Необходимо определить, будет ли миграция технической или потребуется реинжиниринг. В случае реинжиниринга, после составления карты бизнес-доменов и определения необходимых изменений в хранилище, следует составить список ключевых сущностей и согласовать этапность миграционного процесса. Для этих сущностей необходимо разработать критерии приемки и эталоны данных, согласовав их с бизнес-заказчиком.
Заключительным этапом является оценка текущей инфраструктуры и требований. В частности, требуется провести анализ текущей ролевой модели, при необходимости пересмотреть ее, обеспечив безопасность данных и удовлетворение потребностей. Обязательно согласовать SLA, оценить его текущий уровень и причины того, почему уровень не был достигнут. Также необходим анализ источников данных и систем потребителей для правильного построения технологической системы хранилища. Для оценки масштабов и стоимости миграции нужно собрать информацию об объемах данных, логике их формирования и сложности трансформаций. Наличие у заказчика инструмента каталогизации данных упростит процесс. В противном случае можно разработать скрипты для автоматического сбора информации, особенно если миграция происходит с MS SQL сервера. Это позволит составить картину объемов миграции, хотя и не полную, но достаточную для понимания процесса.
После сбора всех необходимых данных для миграции следует выбрать оптимальное решение по соотношению цена – качество, согласовать бюджет с заказчиком, включив оборудование, лицензии и работы интегратора. Для защиты бюджета и демонстрации быстрого бизнес-результата эксперт рекомендует начать с пилотного проекта. В него включаются основные объекты, согласованные с бизнесом, чтобы проверить архитектуру и продемонстрировать результат. Пилотный проект может содержать популярные отчеты или витрины, это позволит быстро проверить правильность подхода и избежать неучтенных факторов в будущем.
На данном митапе примером компании, которая может помочь с миграцией данных, стала Arendata – российский разработчик ПО на рынке систем управления и обработки данных. Екатерина Мамонова, бизнес-архитектор компании, поделилась несколькими кейсами реализации проектов для ведущих российских банков.
Реализация единого хранилища данных в ВТБ
Исторически в ВТБ существовало три хранилища данных – «Банка Москвы», «ПАО-ВТБ» и «ВТБ-24». Каждое из них использовало различные технологические стеки (Oracle, Oracle Exadata,Teradata), что приводило к разрозненности данных, медленной работе систем и низкому качеству данных. Каждый бизнес-блок отвечал за свои процессы, интеграция между системами отсутствовала.
Для устранения этих проблем ВТБ принял решение о создании единого хранилища данных с целью ускорения работы платформ, сокращения time-to-market, выделения новых продуктов, повышения качества данных и снижения стоимости платформы. В результате реализации проекта ВТБ достиг значительных результатов:
- сокращение time-to-market и снижение стоимости платформы в два раза;
- экономия около 6 млрд руб. на горизонте трех лет;
- повышение прозрачности процессов и уменьшение количества ручных операций.
Единое хранилище данных состоит из двух крупных элементов – хранилища и озера данных. Хранилище используется для поставки данных в различные системы, в том числе CRM, финансовые и аналитические системы, а также для обучения и моделирования данных.
Для управления качеством данных и обеспечения доступа к ним ВТБ приобрел дата-каталог Arendata, который помогает управлять данными и обеспечивать их безопасность. В настоящее время ВТБ также пилотирует СУБД от этой компании для кредитного конвейера.
Единая платформа «Газпромбанка»
«Газпромбанк» столкнулся с похожей проблемой: одно хранилище данных, построенное для разных блоков по-своему. В 2023 г. банк решил пересмотреть работу с данными, установить ответственных лиц, повысить качество данных, прозрачность процессов и скорость обработки. Для построения собственной платформы данных обратились к внешним экспертам.
В итоге был выбран подход, основанный на разделении данных на домены (data mesh). Внутри платформы данных было создано несколько доменов, каждый из которых принадлежит к определенному бизнес-блоку: розничный бизнес, риски, управление персоналом, платформа данных, моделирование данных, малый и средний бизнес. Каждый домен имеет свои правила управления качеством данных, определенное количество атрибутов и ответственных за жизненный цикл данных.
Цели проекта – значительное сокращение стоимости владения на 1 Тб, увеличение интегрального показателя качества данных до 98% и сокращение сроков вывода новых продуктов в три раза.
Единый хаб ПСБ
Проект в ПСБ стартовал в 2021 г. На тот момент банк использовал архитектуру, в которой каждый бизнес-блок разрабатывал собственные решения, что приводило к путанице при взаимодействии. Использование различных технологий, таких как SAP, Oracle, Excel и SQL, создавало хаос и неопределенность в управлении данными. Было непонятно, какие данные с чем связаны, кто является владельцем данных, и бизнес-процессы оставались неочевидными.
В 2023 г. ПСБ централизовал работу с данными, создав единый хаб, названный единой платформой сбора и доставки данных. Внешние и внутренние источники данных поступают в хаб, где данные фильтруются и затем единым потоком распределяются по внутренним системам. Причиной для перехода на новую платформу стала необходимость замещения иностранных систем в соответствии с требованиями Правительства России.
Результатом внедрения нового хаба данных стали значительное сокращение полной стоимости владения (ТСО) и повышение уровня качества данных с 5 до 7%.
Несмотря на вызовы, стоящие перед российскими компаниями в условиях западных технологических ограничений, отечественные ИТ-платформы уже реализуют проекты и оптимизируют бизнес-процессы. Подобные кейсы демонстрируют, что российские разработчики способны не только адаптироваться к новым условиям, но и предлагать инновационные решения, которые соответствуют мировым стандартам. Эти успешные примеры подчеркивают важность инвестиций в отечественные технологии и поддержку местных разработчиков, что в конечном итоге способствует укреплению национальной технологической независимости и конкурентоспособности на глобальном рынке.
