Arenadata представила релиз Arenadata Hadoop (ADH) 3.1.2.1.b1, в который вошёл новый сервис Apache Impala – распределённая система исполнения SQL-запросов в экосистеме Hadoop. Сервис для интерактивной обработки данных на сверхбольших объёмах открывает доступ к новым сценариям использования, требующим высокой скорости исполнения запросов.
Преимущества функциональности
Эксперты отмечают ряд преимуществ новой функциональности ADH для пользователей:
- Скорость обработки запросов в озере данных. Impala обеспечивает низкую задержку и высокий уровень параллелизма в экосистеме Hadoop. Это позволит эффективнее решать задачи self-service аналитики и ad-hoc запросов.
- Простота внедрения в текущую инфраструктуру. Заказчикам, у которых был установлен Hive, не придётся переносить данные и таблицы, так как Impala использует те же метаданные, форматы файлов и драйверы подключения.
- Масштабирование, независимое от основного кластера Hadoop. Arenadata Hadoop предоставляет возможность развёртывания Impala вне основного кластера. Это позволяет исключить конкуренцию за аппаратные ресурсы и отдельно масштабировать аналитическую нагрузку даже в существующих инсталляциях ADH.
- Оптимизация использования оборудования. Новый сервис поможет сократить стоимость обработки данных за счёт оптимального использования аппаратного обеспечения. Помимо этого, больше не требуется тратить ресурсы на адаптацию SQL-кода и дополнительное обучение аналитиков при миграции с Cloudera Data Platform.
- Оптимизация ландшафта заказчика. Отдельные сценарии ad-hoc и self-service аналитики, требующие массивно-параллельной обработки, теперь возможно реализовывать локально, не нагружая ими основное хранилище данных.
Производительность и бизнес-сценарии
«Включение нового сервиса в Arenadata Hadoop существенно повысило производительность продукта для ряда бизнес-сценариев. Он в значительной мере отвечает требованиям заказчиков в части скорости исполнения запросов, что позволяет внедрять новые сценарии использования. В грядущих релизах ADH мы планируем расширять функциональность нового сервиса: его безопасность, доступность и интеграцию с другими компонентами, например, такими, как Arenadata Platform Security (ADPS)», – сообщил Александр Ермаков, технический директор Arenadata.
Новый релиз Arenadata Hadoop включает в себя и другие изменения: представлено автоматическое управление высокой доступностью сервисов Hadoop, добавлен ADB Spark Connector с поддержкой Spark3, улучшена функциональность керберизации кластера, что позволяет выполнять более детальную настройку.
