14 ноября состоялся вебинар Dis Group. Василий Хасонов, заместитель технического директора компании, и Ольга Объездчикова, технический менеджер, представили новый продукт и обсудили важные моменты, связанные с репликацией: снижение нагрузки на системы-источники путем использования репликаций данных; выбор подходящей платформы; принципы работы и преимущества репликации данных; способы замены Oracle GoldenGate более доступными, но не менее эффективными аналогами; технические особенности реализации проектов; функциональные возможности решения «Датафлот Репликация».
Обзор нового продукта
«Датафлот репликация» – решение для копирования транзакционных данных, построенных на системе Change Data Capture (CDC). Продукт разработан в России, офис самой компании находится в Казани. Сервис захватывает изменения в данных. Решение зарегистрировано в Едином реестре российского ПО. Продукт должен стать альтернативой сервиса Oracle GoldenGate. «Датафлот» разработала несколько типовых сценариев, когда можно использовать репликацию. Например, при необходимости снизить нагрузку на основную ИС, при выполнении «тяжелых» запросов или при построении отчетов. В этом случае «рядом» с основной системой создается копия. Данные, близкие к реальному времени, копируются, и уже к этой системе выполняются запросы. Это может быть сделано не только для разгрузки основной системы, но и для получения оперативной отчетности в режиме, близком к реальному времени. Василий Хасанов назвал еще два случая использования репликации: при проведении аудита системы, когда есть необходимость просмотреть, кто и как менял данные БД, и при миграции данных из одной БД в другую с минимальным временем простоя.
Решение «Датафлот репликация» обеспечивает захват, маршрутизацию и доставку данных в режиме, близком к реальному времени. Сервис поддерживает целостность и согласованность данных при транзакции, автоматически восстанавливается при сбоях и минимально воздействует на системы-источники. «Решение обеспечивает сохранение транзакционной целостности, т. е. не нужно ничего программировать и настраивать. Решение само следит за этим», – рассказал Василий Хасанов.
Было озвучено большое количество источников и приемников, с которыми работает система «Датафлот». Из популярных источников – DB2 (Linux, UNX, Windows), Microsoft SQL Server, Oracle, PostrgreSQL, Sybase ASE. В качестве приемников поддерживаются множество реляционных типов баз, кластеры Hadoob – российские Hadoob, Arendata Hadoob. Поддерживаются такие хранилища, как Greenplum, аналог российской Arendata DB, Netezza, MemSQL, Oracle и др. В скором будущем планируется поддержка приемников ClickHouse, Tarantool, Arendata QuickMarts, MongoDB.
В архитектуре есть несколько компонентов: парсер», загрузчик, буфер данных и т. д. Парсеротвечает за чтение данных из журналов транзакционных источников, выкладывает изменения в файлы буфера данных. Загрузчик уже из буферов читает данные об изменениях компонентов и применяет их в системе приемника. Существует служба управления, которая отвечает за координацию работы всех трех сервисов. Конфигурации хранятся в файловой базе SQLite, она ставится вместе с решением и не требует дополнительной настройки. Имеется панель управления – «толстый» JAVA клиент. Решение отслеживает все контрольные точки для координации компонентов. Файлы не удаляются, пока не будут прочитаны необходимыми загрузчиками. Все элементы контролируются внутри решения с точки зрения отказоустойчивости. «Топология гибкая, и можно решать, что и куда установить в зависимости от условий и конкретной задачи», – рассказал Василий Хасанов.
Возможности «Датафлот»
Были представлены разнопрофильные решения репликации, способные поддерживать сервис «Датафлот». Однонаправленная – из одной базы в другую. Поддерживает организацию онлайн копий, миграцию данных, обновление версий, распределение нагрузки чтения данных.
Более «экзотические» решения – двунаправленная, каскадная репликация.
Василий Хасанов обозначил основные отличия решения от других предложений. Предоставляется техническая поддержка 24х7. Система не требует сопровождения и мониторинга дополнительных внешних компонентов, проста в настройке. Пользовательский интерфейс полностью на русском языке. Решение позволяет настроить доставку данных в приемник через визуальный интерфейс. В разработке присутствуют простые способы работы с журналами БД: специализированные парсеры журналов, обеспечивающие высокую скорость обработки и минимальную нагрузку на источник. Опции «Датафлот Экспресс» можно использовать для высокоскоростной первичной выгрузки данных из Oracle, в 20 раз быстрее native инструментов. Стабильная работа при больших операциях DML, десятки миллионов строк в одной транзакции. «Датафлот репликация» может работать с источниками Oracle Standby. При восстановлении исключена вероятность появления дублей в приемнике.
В завершающей части вебинара Ольга Объездчикова презентовала сам продукт. У решения большое количество функций и возможностей. Ожидается, что сервис сможет в полной мере не только конкурировать с прочими продуктами, но и уверенно заменить западные решения.
