Arenadata обновила продукт для потоковой передачи и обработки данных Arenadata Streaming (ADS) и дополняющую его систему Arenadata Streaming Control (ADSC), предназначенную для управления и мониторинга кластеров потоковой передачи. Релизы включают ряд доработок в контексте безопасности, стабильности и удобства администрирования.
В новой версии Arenadata Streaming реализована поддержка Java 17, которая содержит улучшения, направленные на повышение производительности и безопасности. Java 17 — версия с долгосрочной поддержкой (long-term support, LTS), которая будет получать обновления в течение длительного времени.
В состав Arenadata Streaming[1] включён новый плагин kafka-rest-security, предназначенный для авторизации в сервисе Kafka REST Proxy. По умолчанию пользователь может аутентифицироваться в Kafka только с одним предопределённым принципалом, созданным при включении Kerberos. Новый плагин, разработанный командой Arenadata, снимает это ограничение и позволяет проходить аутентификацию с разными принципалами, что упрощает контроль доступа пользователей к ресурсам.
Релиз включил обновление версий всех компонентов и сервисов Arenadata Streaming, а также ряд улучшений и багфиксов. В частности, обновлена конфигурационная страница сервиса Kafka и оптимизирована работа с пользовательскими параметрами.
«При формировании дорожной карты развития продукта мы принимаем во внимание требования служб безопасности корпоративных заказчиков. В рамках этих требований в новый релиз включили возможность разграничения доступа пользователей Kafka REST Proxy к топикам Kafka», — комментирует Александр Анисимов, технический руководитель продукта Arenadata Streaming.
Кроме того, был обновлён сервис Arenadata Streaming Control, который позволяет администраторам управлять всеми аспектами кластеров ADS Kafka. Также улучшено управление коннекторами Kafka Connect, расширяющих возможности брокера по доступу к внешним системам.
В веб-интерфейсе новой версии сервиса появилась страница Consumer groups, содержащая информацию о подключённых группах потребителей в кластере. Кроме того, в ADSC реализованы новые вкладки для страницы Topics, предназначенной для отображения информации о топиках и управления ими в кластере: вкладка Messages позволяет читать и записывать сообщения, а Consumer groups показывает подключённые к топику группы пользователей.
По ссылке можно ознакомиться с полным списком изменений версии Arenadata Streaming 3.6.2.1.b1.
Возможности Arenadata Streaming
Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и NiFi. Продукт включает графический пользовательский веб-интерфейс для управления и мониторинга кластеров потоковой передачи (ADS Control, ADSC), поддержку расширенной безопасности (Arenadata Platform Security, ADPS), а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.
Arenadata Streaming позволяет:
- в реальном времени строить потоковые конвейеры данных, надёжно передающих данные между системами или приложениями;
- в реальном времени разрабатывать потоковые приложения, преобразующие потоки данных или реагирующие на них;
- хранить потоки записей отказоустойчивым долговечным способом;
- разграничивать права доступа к потокам данных.
На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
[1] Плагин kafka-rest-security доступен в составе enterprise-версии продукта Arenadata Streaming.
