Наличие системы хранения данных (СХД) – важное условие организации работы любого современного предприятия. Решения этого типа обеспечивают сохранность ценной информации (включая файлы пользователей, данные приложений, медиаконтент, системные данные), защиту от несанкционированного доступа и удобный гарантированный доступ для авторизованных пользователей. Рассмотрим основные подходы к резервированию бизнес-критичных данных с использованием различных по цене, сложности и надежности решений. Выделим решения, позволяющие устранить отказ системы в ситуации выхода из строя единичных компонентов, обеспечить защиту от неконтролируемого повреждения информации, а также оградить заказчиков от последствий потери СХД в случае серьезного аппаратного сбоя или ошибки администрирования.
Параметр доступности и технологии самолечения
Консолидация сервисов по хранению данных на специализированном оборудовании дает возможность разгрузить процессоры вычислительной подсистемы от непрофильной нагрузки, обеспечить параллельный доступ к данным от множества подсистем, эффективно использовать ресурсы хранения. С другой стороны, сбой СХД как единой точки отказа может привести к остановке всех ИТ-сервисов.
Один из основных параметров информационных систем, определяющих возможность их бесперебойной работы, – доступность, которая вычисляется как процент времени эффективной работы системы. Например, доступность 99,999% означает, что суммарный простой системы за год не превышает 5 минут 15 секунд. Доступность системы в целом определяется доступностью ее компонентов, одним из которых является СХД.
Все функциональные элементы должны иметь резерв, чтобы система не имела единой точки отказа (SPOF – Single Point of Failure). Следующий шаг – автоматизация процедур переключения на резервные элементы (failover) и восстановления исходного состояния после ремонта (failback). Для особо критичных элементов, например блоков питания и контроллеров, создаются отказоустойчивые схемы, которые позволяют переключаться на резерв без прерывания работы остальных компонентов.
Повысить доступность СХД позволяет применение технологий самолечения, таких как предиктивный вывод из строя сбойных компонентов, новые способы защиты от сбоев дисков с быстрым перестроением RAID, минимизация времени синхронизации данных между СХД после обрыва связи и др.
Высокая доступность может обеспечиваться на разных уровнях:
• самой СХД;
• доступа к данным в рамках одного или нескольких ЦОД, расположенных на «синхронном» удалении один от другого;
• сервисов хранения данных для географически распределенных систем с использованием технологий асинхронной репликации.
Обеспечение доступности в рамках СХД
В современных системах хранения продуктивных данных применяется резервирование компонентов, отвечающих за предоставление дискового ресурса.
Обычно на рынке СХД общего назначения основную нишу занимают системы традиционного дизайна со спаренными контроллерными модулями, а также их вариации. Отличительные особенности архитектуры подобных систем представлены следующими решениями:
• СХД общего назначения построены с возможностью отработки единичного отказа в любом компоненте. От отказа жесткого диска система защищена благодаря использованию технологии RAID или ее функциональных аналогов;
• большинство систем среднего уровня реализуют механизмы прозрачного контроля целостности. С момента получения блока данных ему присваивается контрольная сумма, которая сравнивается на каждом этапе обработки, что исключает порчу информации в случае возникновения аппаратных или программных ошибок;
• наличие нескольких независимых путей доступа сервера к накопителю. У каждого дискового модуля есть два интерфейсных порта, каждый подключается к своему набору системных компонентов: внутренняя шина, вычислительный модуль, кэш-память, интерфейсный модуль. На уровне сети хранения данных используются независимые фабрики, а в серверы устанавливается не менее двух адаптеров;
• зеркалирование данных в кэш-памяти. В любой момент данные, переданные сервером в кэш-память СХД, имеют резервную копию на кэш-памяти парного контроллера либо они записаны на энергонезависимые накопители системы. Процедура записи на СХД может выглядеть следующим образом: сервер передает данные в кэш контроллера, данные зеркалируются. И только после этого сервер получает ответ, что данные записаны. Таким образом, если сбой произойдет в момент резервирования данных, сервер будет уведомлен об этом и после разрешения проблемы повторит отправку сбойного блока. При этом ни один блок не будет потерян. В свою очередь, кэш на запись защищается от сбоя питания батареями.
Немного иначе обстоят дела с системами уровня предприятия (Enterprise Storage). Массивы среднего уровня стремительно догоняют старшие линейки по функционалу, емкости и производительности, архитектура систем высшего класса упрощается, они становятся более похожими на СХД общего назначения.
Тем не менее можно выделить отличительные признаки систем высшего уровня:
• модульная коммутируемая архитектура. Системы построены по принципу единого коммутатора, объединяющего различные компоненты. Например, вычислительные модули связаны со всеми модулями кэш-памяти и с контроллерами дисков. Такое решение позволяет гибко наращивать систему, равномерно распределять нагрузку и нивелировать влияние сбоев любых компонентов;
• расширенный функционал отработки отказов, нацеленный в первую очередь на обеспечение сохранности данных и доступа к ним. Часто производители ограничивают набор доступных пользователю операций с целью минимизировать риск сбоя вследствие некомпетентного ремонта или снижения надежности в случае неверных настроек.
Несмотря на успешное применение описанных выше механизмов обеспечения доступности, большая их часть разрабатывалась на заре создания систем хранения данных, когда размеры накопителей исчислялись гигабайтами. Увеличение объемов жестких дисков до нескольких Тбайт и скоростей передачи приводит к устареванию традиционной архитектуры. Например:
• технология RAID, разработанная в 1987 г., – одно из основных слабых звеньев традиционных СХД. При использовании СХД с большим количеством дисков сохраняется ненулевая вероятность одновременного выхода из строя нескольких накопителей. Время на восстановление в случае выхода из строя накопителя довольно значительное, и процесс перестроения RAID на диски «горячей» замены сопровождается снижением производительности системы. В деградировавшем состоянии массивы RAID подвержены влиянию невосстановимых ошибок чтения (Unrecoverable Read Errors – URE) накопителей. Например, стандартом для серверных дисков является возможность пропуска ошибок c вероятностью не более 10-15. Следовательно, каждые 125 ТБ возможно появление нечитаемого бита информации, что может повлечь за собой потерю данных в деградировавшем RAID массиве;
• технология использования двух контроллеров, обусловленная высокой стоимостью процессоров. При текущей цене на компоненты становится возможным строить системы по схеме Active/Active/Active для обоснованного повышения производительности и надежности при сохранении совокупной стоимости владения;
• проприетарные уникальные решения, обеспечивавшие в прошлом преимущество по сравнению с использованием стандартных компонентов. Сегодня они приводят лишь к увеличению стоимости конечного продукта и времени вывода на рынок нового функционала. Системы, построенные на компонентах широкого применения, основу которых составляют программно-определяемые решения, позволяют заказчикам лучше сохранять инвестиции, а производителям – уменьшить затраты, увеличить скорость вывода нового функционала на рынок и удержать клиентов.
Доступность СХД в дата-центре или здании
В случаях когда надежности одной СХД недостаточно и требуется создать устойчивую к любым аппаратным сбоям систему, стоит рассмотреть подсистему хранения данных, основанную на двух зеркалируемых системах хранения данных в одном ЦОД или кампусе.
Технологии, обеспечивающие зеркалирование данных в одном ЦОД или кампусе, можно разделить на следующие категории:
• использование виртуализации СХД;
• создание зеркала на уровне операционных систем или гипервизоров;
• расширение технологий репликации данных путем добавления функционала автоматического переключения на резервную СХД.
Технологии виртуализации СХД. Этот класс систем основан на механизмах подключения СХД к системе виртуализации, которая является дополнительным слоем абстракции между сервером и дисковым массивом. Виртуализатор расширяет функционал СХД и снимает ограничения на модель используемых дисковых массивов. Это позволяет проводить зеркалирование и миграцию данных между СХД различных линеек и производителей. В качестве примера можно привести следующие успешные решения:
• EMC VPLEX;
• IBM Spectrum Storage (на основе IBM SVC);
• HDS SVOS (Storage Virtualization Operation System).
Среди преимуществ применения указанной технологии:
• прозрачное для серверов подключение к системам хранения разных линеек и производителей;
• возможность увеличения производительности за счет ресурсов виртуализатора и/или распределения нагрузки между несколькими СХД;
• увеличение гибкости системы в целом за счет возможности производить замену и реструктуризацию СХД без прекращения доступа к данным.
Зеркало на стороне сервера. Не является частью системы хранения данных, но с некоторыми ограничениями позволяет решить задачу защиты от выхода из строя одной СХД. Такая защита может быть реализована следующими способами:
• программный RAID-массив для резервирования DAS (Direct Attach) дисковых полок и блочных систем хранения данных через SAN;
• менеджер томов (LVM). Менеджеры томов в современных ОС часто поддерживают только один уровень резервирования – зеркало с двумя и более копиями;
• файловые системы (ZFS, btrfs). Современные файловые системы на основе структуры b-деревьев благодаря архитектурным особенностям позволяют создавать неограниченное количество мгновенных снимков, поддерживать объектный уровень репликации данных и аналоги программных RAID с одним, двумя и более блоками четности;
• специализированное ПО файловой репликации обеспечивает синхронизацию файлов после изменения вне зависимости от их расположения и принадлежности к СХД;
• средства приложений. Большинство бизнес-критичных приложений, например базы данных, обеспечивает функционал защиты данных путем дублирования записи.
Но не стоит забывать об ограничениях, связанных с такими решениями:
• защита данных должна настраиваться на каждом сервере или гипервизоре индивидуально, что усложняет администрирование и обнаружение источников возможных проблем;
• зеркалирование задействует часть аппаратных ресурсов сервера, на которых могла бы выполняться полезная нагрузка. Этот аспект играет особую роль, когда заходит речь о совокупной стоимости владения программным обеспечением, лицензируемым по ресурсам сервера (например, по CPU);
• некоторые технологии СХД (например, загрузка по сети хранения данных boot from SAN) могут перестать работать либо стать необоснованно сложными в реализации.
Расширение функционала репликации данных. Традиционное использование функционала репликации данных подразумевает приостановку доступа к данным при переключении на резервный массив. Причем ограничение доступа возникает независимо от того, произошел сбой основной СХД или переключение осуществляется по команде администратора.
Для ряда современных СХД были разработаны технологии, позволяющие осуществить переключение на резервный массив без остановки доступа к данным и сделать процесс переключения минимальным по времени, не требующим переключения серверов на работу с «новой» СХД.
Приведем примеры подобных решений:
• HPE 3par PeerPersistence. Названный функционал позволяет организовать катастрофоустойчивые решения на базе дисковых массивов HP 3par и ПО виртуализации VMWare, Microsoft Hyper-V. Этот программный продукт выполняется на дисковом массиве и используется в связке со встроенной репликацией данных. Peer Persistence обеспечивает прозрачное для хост-сервера аварийное переключение дисковых массивов, например в случае выхода из строя одной площадки. В отличие от решения обеспечения отказоустойчивости средствами VMware Peer Persistence позволяет произвести переключение без перезагрузки виртуальных машин или ручного вмешательства;
• уникальная технология от Hitachi Data Systems – Global Active Device (GAD) позволяет создавать виртуальные системы хранения данных, обладающие собственными уникальными WWN. Данная сущность может быть перемещена прозрачно для сервера между физическими системами хранения HDS класса VSP G. Функционал обеспечивает резервирование СХД вне зависимости от используемой операционной системы или конфигурации сервера.
Доступность сервисов хранения для распределенных систем
В целях повышения доступности данных при наступлении возможных катастрофических событий, которые могут приводить к выходу из строя или повреждению целой площадки, используются технологии распределенного хранения данных.
В качестве резервной площадки могут использоваться как собственные удаленные ЦОД, так и ресурсы, предоставляемые провайдерами облачных сервисов. Во втором случае интерес представляют решения производителей СХД, которые позволяют реплицировать данные между собственными системами хранения и виртуальными СХД, предоставляемыми провайдерами услуг.
При копировании данных на большие расстояния значительно возрастают задержки, связанные с тем, что скорость распространения световых и электромагнитных волн конечна. На расстояниях, превышающих 100 км, как правило, применяется асинхронная репликация данных.
Асинхронная репликация позволяет работать без существенных задержек на основной площадке независимо от удаления резервной. Но при этом выдвигаются дополнительные требования к механизму определения и передачи изменившихся блоков данных. Это связано с необходимостью обеспечить crash-consistent-состояние данных на резервной СХД при сбое на основной площадке.
Рассмотрим основные способы определения изменений, используемые в территориально распределенных решениях:
• мгновенные снимки сохраняют в отдельной области список изменившихся блоков, которые передаются по расписанию на удаленную систему;
• репликация изменившихся блоков позволяет передавать данные с максимально возможной скоростью канала связи, не дожидаясь следующего окна репликации;
• объектная репликация обладает преимуществом при работе с небольшими объектами. Объект копируется на резервную систему целиком при изменении его свойств. Такой метод используется в основном на файловых и объектных системах хранения. С СХД снимается нагрузка по изменению содержимого файла, снижается вероятность ошибки при корректировке содержимого файла. Прирост производительности по сравнению с блочной репликацией достигается за счет уменьшения объема служебной информации по отношению к передаваемым данным. В современных системах часто используется гибридный метод, сочетающий блочную и объектную репликации. Для файлов больших определенного размера передаются только измененные блоки, что актуально для репликации, например, образов виртуальных машин или больших файлов, в которые вносятся незначительные изменения.
В связи с популяризацией публичного облака и снижением стоимости аренды многие компании рассматривают решения по построению гибридного облака.
***
Консолидация сервисов по хранению данных на специализированном оборудовании обладает неоспоримыми преимуществами и позволяет высвободить ресурсы сервера, обеспечить параллельный доступ к данным и повысить эффективность хранения. Однако такие решения следует внедрять с умом, учитывать возможные категории рисков и адекватно принимать решения по их снижению.
На основе представленной информации нельзя однозначно рекомендовать для любых систем использование конкретной практики. Каждое внедрение требует тщательной проработки и выбора соответствующего подхода, основанного на компромиссе между стоимостью, надежностью и простотой использования. Сегодня не существует практики, подходящей всем без исключения. Впрочем, инфраструктура систем хранения, как и подходы к повышению доступности, постоянно совершенствуются.
