NetApp представила Spot Wave – автоматизированную облачную инфраструктуру для обработки Big Data.
Словосочетание «бежать впереди паровоза» обычно употребляется нами с негативным оттенком, указывающим на чрезмерную торопливость, на преждевременные действия. Однако в мире большого бизнеса это не всегда так – здесь забегание вперед зачастую означает единственный шанс выиграть в жесткой конкурентной борьбе. Как компании NetApp удается уже столько лет бежать впереди «ИТ-паровоза»? Ответ на этот вопрос кроется в ее правильной стратегии, которая основывается на глубоком понимании тех основополагающих тектонических сдвигов, которые определяют будущее всей отрасли.
По направлению к данным
За последнее десятилетие ИТ-инфраструктура компаний и организаций по всему миру существенно усложнилась: она стала многоплановой, многоуровневой, очень гибкой, разветвленной, распределенной и т. д., и т. п. Здесь можно было бы подобрать множество определений, и все они будут правильными, поскольку отражают различные стороны нашего быстро развивающегося цифрового мира.
На смену первоначальному элементарному противопоставлению внутренней структуры (On-premises) и облачных сервисов (Cloud) пришло понимание многоплановости облаков, которые сами стали распадаться на частные и публичные. Затем появились гиперскейлеры – глобальные облачные сервисы с уникальными возможностями. Далее стали рождаться оригинальные модели работы в гибридных облаках и в мультиоблачном окружении.
Со временем пришло понимание процессов взаимопроникновения облачных сервисов и традиционной инфраструктуры в периметре: с одной стороны, компании стали создавать внутри своей инфраструктуры частные облака, чтобы перенести удачный опыт облачных сервисов в On-premises; с другой стороны, облачные провайдеры научились предоставлять такие услуги, которые ранее могли быть возможны лишь во внутренней инфраструктуре предприятий и организаций.
Затем в эту новую гигантскую пирамиду добавились граничные вычисления, еще больше осложнив ИТ-ландшафт. При этом совсем скоро обнаружилось, что ИТ-инфраструктура бизнеса, приложения и данные живут во всех точках нового цифрового мира: они расползлись по облачным сайтам, по границам (Edge computing). И всем этим хаосом необходимо каким-то образом управлять, причем делать это следует достаточно просто и эффективно, не усложняя и так уже непростую ИТ-систему.
Как несложно заметить, все последние годы ускоряется трансформация бизнеса в сторону дата-центричного цифрового мира. Жан-Франсуа Мари, руководитель подразделения Data Products and Solutions NetApp региона EMEA, выступая на одной из конференций NetApp, отметил ускорение инновационного развития в сфере ИТ и указал на четкий приоритет данных. Если в 2000-х гг. главным драйвером развития отрасли оставалось «железо», то уже в 2010-х на первое место вышло программное обеспечение. А главным драйвером следующего десятилетия стали данные: «Мы сейчас идем от концепции software-driven к идеологии data-driven».
Данные компании больше не лежат на внутренних устройствах, надежно скрытые за брандмауэром, – они становятся распределенными (хранятся в разных локациях), динамичными (постоянно меняются) и многообразными (структурированные и неструктурированные, потоковые, генерируемые за пределами предприятия).
NetApp ищет и находит свое место в новом дата-центричном универсуме. Решения компании позволяют заказчику свободно и безопасно оперировать различными данными, распределенными по удаленным локациям.
Проблемы с большими данными
Если провести исследование клиентов облачных сервисов, работающих с большими данными на базе Kubernetes, то самым частотным запросом с их стороны будет следующий: «Помогите нам снизить стоимость нашей среды разработки: сейчас мы просто не в состоянии правильно расставить приоритеты и сбалансировать свои расходы. Наши эксперты по данным не в состоянии извлекать из них пользу. Наши команды тратят огромное количество времени на устранение неполадок, так что оптимизация приложений выливается в бесконечную череду проб и ошибок. В нашей среде разработок царит хаос – у нас нет надлежащего контроля версий, жизненные циклы не соблюдаются и стоимость приложений резко возрастает».
Ответом на все эти запросы клиентов и стало решение, предлагаемое компанией NetApp, – решение, в котором соединилась продвинутая экспертиза в области управления данными с не менее глубокой экспертизой в облачных сервисах.
NetApp Spot Wave
17 марта в Саннивейл (Калифорния) компания NetApp объявила о запуске своего нового решения Spot Wave на основе технологий NetApp, а также поддержке Microsoft Azure на базе Kubernetes с помощью решения Spot Ocean. Вместе названные продукты предлагают клиентам решения для создания еще более простой, масштабируемой и эффективной инфраструктуры для облачных приложений.
Spot Wave позволяет автоматически развертывать, масштабировать, а также оптимизировать инфраструктуру, необходимую для запуска задач по работе с большими данными на базе фреймворка Apache Spark, помогая сократить затраты на инфраструктуру и облачный «мусор» на 90%.
Поскольку решение Spot Wave функционирует в тесном контакте с Spot Ocean, здесь не лишним будет напомнить о том, что стоит за терминами Spot и Ocean в продуктовой линейке компании NetApp.
В прошлом году NetApp объявила о сделке по приобретению Spot, лидера в области управления вычислениями и оптимизации затрат на публичные облака. Инфраструктура NetApp Spot, направленная на постоянную оптимизацию, помогает заказчикам экономить до 90% затрат на облачное хранение и вычисления. Spot представляет собой движок на основе искусственного интеллекта (ИИ), который непрерывно анализирует данные в целях оптимизации использования вычислительных ресурсов в гиперскейлерах, в режиме реального времени выбирая лучшие параметры инфраструктуры для приложений.
Решение NetApp Spot Ocean автоматизирует выделение инфрастуктурных единиц и управление загрузкой кластеров Kubernetes в публичных облаках. Оно постоянно анализирует, как контейнеризованные приложения эксплуатируют ресурсы вычислительных узлов, автоматически масштабируя и сокращая вычислительные ресурсы кластера, при этом применяя разные типы и оптимальное сочетание временных, зарезервированных вычислительных инстансов и инстансов по требованию (от англ. Instance – экземпляр объекта), значительно снижая совокупную стоимость ресурсов за счет увеличения доли более дешевых – временных виртуальных серверов и снижая долю серверов по требованию, которые традиционно самые дорогие у облачных провайдеров.
Компании, применяющие решение NetApp Spot Wave в качестве ключевого продукта, смогут еще более быстро и удобно развертывать среду для Apache Spark приложений, а также уделять больше внимания использованию данных. При этом NetApp Spot Wave будет обеспечивать постоянную оптимизацию инфраструктуры с точки зрения объема, производительности и стоимости ресурсов.
Характеристики Wave
Таким образом, в основе решения Spot Wave от компании NetApp, которое было создано на базе искусственного интеллекта Spot, используется та же проверенная технология, что и в Spot Ocean. Если говорить о ключевых характеристиках, отличающих новое решение Spot Wave, то их можно свести к трем основным параметрам:
1) оптимизация стоимости: решение Spot Wave обеспечивает работу Spark-заданий в контейнерезированной инфраструктуре, при этом достигается 90% экономии расходов на инфраструктуру – за счет оптимального сочетания запрашиваемых и резервируемых инстансов, что позволяет легко настраивать параметры кластера в режиме реального времени и снижать затраты на облако;
2) Serverless-инфраструктура и автоматическое масштабирование: встроенная в Wave функция автоматического масштабирования помогает подобрать необходимые по размеру и объему элементы для вычислений в Spark – в соответствии с требованиями по рабочей нагрузке, что позволяет увеличить производительность и эффективность приложений;
3) настройка вычислений в Spark и мониторинг: мониторинг Apache Spark и непрерывная настройка рабочих нагрузок обеспечивают возможность менять конфигурацию фреймворка Spark в режиме реального времени и прогнозировать нагрузку на основе анализа данных, исключая, таким образом, рутинный труд администраторов и человеческий фактор. Другими словами, решение Spot Wave позволяет беспрерывно менять конфигурацию кластера Spark под определенные вычисления, опираясь на анализ требований Spark.
Инфраструктура для облачных приложений
«Компании сегодня ускоренно внедряют Kubernetes, чтобы сделать работу облачных приложений еще более быстрой и гибкой, причем как для отдельных сервисов, так и приложений, работающих с большими данными, – отмечает Амирам Шачар, вице-президент и генеральных директор Spot by NetApp. – Обеспечение оптимальных стоимости, производительности и объема инфраструктуры для ее эффективной работы отнимает у компаний много ресурсов и времени. Новые инструменты Spot Wave и Spot Ocean решают эту проблему, предлагая им бессерверный опыт на базе Spark, который гарантирует беспрерывную оптимизацию инфраструктуры».
«Wave использует те возможности, которые нам так нравятся в Ocean, что позволяет уделять особое внимание работе приложений с большими данными, – указывает Галь Авив, технический директор Fyber. – Интеграция Spark-приложений в Wave открывает много возможностей. Данное решение NetApp особенно ценно тем, что оно позволяет проводить вычисления с использованием существующих инструментов и способствует формированию необходимой инфраструктуры для работы тяжелых ML-приложений».
NetApp и Spot by NetApp обладают богатым опытом работы с Kubernetes и сообществом Kubernetes. С помощью инвестиций в эти новые продукты NetApp предлагает клиентам передовые решения и возможности для инфраструктуры, настроенной под приложения, и инструменты управления данными, необходимые компаниям для запуска критически важных облачных приложений.
Двойная сила «океана» и «волны»
Итак, новые решения от NetApp – Spot Wave и Spot Ocean предлагают клиентам решения для создания еще более простой, масштабируемой и эффективной инфраструктуры для облачных приложений. Ставка при этом делается на Serverless-инфраструктуру и автоматическое масштабирование. Wave может беспрерывно менять конфигурацию кластера Kubernetes под определенные вычисления, опираясь на анализ требований Spark. Spot Ocean, которое лежит в основе Spot Wave, теперь будет поддерживать сервис Microsoft Azure Kubernetes Service. Ранее Ocean работало с AWS Elastic Container Service, Elastic Kubernetes Service и Google Kubernetes Engine.
NetApp также недавно расширила доступ к NetApp Astra, сервису управления данными и приложениями, построенному на базе Kubernetes. Astra помогает компаниям защищать, восстанавливать и перемещать приложения, развернутые в Kubernetes, без дополнительного ПО для загрузки, установки, управления и обновления. С его помощью компании смогут уделять больше внимания разработке и масштабированию приложений.
Таким образом, представленные продукты NetApp образуют собой некий промежуточный управляющий слой, который связывает любые приложения, работающие на базе Kubernetes, с облачной инфраструктурой гиперскейлеров, позволяя неприрывно оптимизировать использование облачных вычислительных ресурсов.
