ТЕМАТИКА ПРОДУКЦИИ — ETL-продукт для наполнения хранилищ данных
НАИМЕНОВАНИЕ — OneData
ПРОИЗВОДИТЕЛЬ — Компания IT_ONE (ООО «ИТ1-Технологии»). IT_ONE (https://www.it-one.ru) — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций.
ПОСТАВЩИК — Компания IT_ONE (ООО «ИТ1-Технологии»)
ИСТОЧНИК (URL) — https://www.it-one.ru
НАЗНАЧЕНИЕ — ETL-продукт для наполнения хранилищ данных
ХАРАКТЕРИСТИКИ И ПРЕИМУЩЕСТВА
ETL-продукт по перемещению и интеграции данных в хранилищах – OneData. Поддерживает большинство популярных типов источников и приемников данных, высокую скорость развертывания и отличается простотой настройки.
Решение поддерживает наиболее популярные в России источники и приемники данных. Например, оно работает с JDBC-источниками и брокером сообщений Apache Kafka, а в качестве приемников могут выступать файловые хранилища (HDFS, S3, FTP), JDBC, таблица Hive.
К числу преимуществ нового решения относится его оперативное развертывание. Основной Spark-процесс можно запустить даже локально, но для использования всех преимуществ рекомендуется Hadoop-кластер с YARN или Kubernetes-кластер. Конфигурация процессов перемещения данных может храниться в json-файлах или в любой доступной БД PostgreSQL. Оркестрация потоков осуществляется с помощью Airflow, который можно развернуть рядом или использовать уже имеющийся.
OneData прост в настройке, ее может осуществить даже специалист без навыков программиста или DevOps.
Кроме того, при сохранении в файловую систему фреймворк поддерживает самые разные форматы файлов: orc, parquet, csv, json, deltalake. Чтение из Kafka может сопровождаться валидацией входящих json-сообщений по указанной json-схеме. Сообщения, не прошедшие валидацию фреймворк может бережно сложить в указанный DLQ-топик (Dead Letter Queue topic). Эти опции еще более расширяют функциональность продукта.
ФУНКЦИОНАЛЬНЫЕ ВОЗМОЖНОСТИ
OneData оптимизирует деятельность ИТ-команд компаний-заказчиков, занимающихся наполнением хранилищ данных. Продукт – альтернатива популярным западным проприетарным продуктам, многие из которых сегодня недоступны в России, а также продуктам на основе открытого ПО, которые могут не подходить заказчику по функциональности.
В соответствии с «дорожной картой» развития OneData, компания IT_ONE планирует дополнить продукт такими функциями, как маскирование данных, перенос изменений в метаданных, поддержка новых типов источников и приемников, автоматическая проверка консистентности перемещенных данных. Также готовится ряд технологических доработок, которые должны облегчить эксплуатацию фреймворка: это фиксация метрик работы потоков перемещения данных, интеграция с системами мониторинга и т. д.
г. Москва, БЦ «Калибр», м. Алексеевская, ул. Годовикова, 9, стр. 17
8 (495) 274-06-77
