Многие думают: отказоустойчивость — это второй сервер на случай аварии. Но реальные сбои редко ограничиваются падением одного узла. Может отказать сеть, сломаться СХД, зависнуть гипервизор, пропасть питание. Защита каждого компонента по отдельности не даёт надёжности системе в целом.
Отказоустойчивость — свойство всей экосистемы, а не отдельного сервера. Виртуальные машины должны продолжать работать, даже если отказывает один из элементов. И переключаться на резерв они должны автоматически, без участия человека. Здесь важно, чтобы процессы развёртывания и восстановления были встроены в общую практику разработки. Именно поэтому правильный DevOps-конвейер включает не только сборку и тестирование приложений, но и проверку инфраструктурных сценариев — например, автоматическое восстановление после падения узла.
Четыре уровня отказоустойчивости
Защищать нужно все уровни. Пропустите один — получите дыру.
Аппаратный уровень. Два блока питания, два сетевых контроллера, RAID, резервный коммутатор, ИБП. Если один компонент отказывает, второй продолжает работать.
Уровень гипервизора. Сервер умер — ВМ переезжают на другой узел через кластеризацию. При падении узла ВМ автоматически перезапускаются на другом.
Уровень гостевой ОС и приложений. Даже если ВМ жива, внутри может упасть сервис — база зависла, веб-сервер не отвечает. Нужен автоматический перезапуск служб и проверка здоровья.
Уровень управления. Отказоустойчивость не работает, если о ней забыли. Нужны регламенты, проверки, документация.
Кластеризация как основа
Кластер — группа серверов, работающих как единое целое. ВМ могут мигрировать между узлами без остановки (живая миграция). При сбое ВМ автоматически перезапускаются на другом узле, если настроен HA.
Что нужно для кластера:
- Общее хранилище, доступное всем узлам.
- Быстрая сеть между узлами.
- Настроенный HA-менеджер.
- Кворум — чтобы система понимала, какой узел жив.
Репликация и резервное копирование
Кластер защищает от падения сервера, но не от потери данных. Если СХД сломается или кто-то случайно удалит базу, кластер не поможет.
Репликация — копирование данных на другой узел или в другой ЦОД. Синхронная — данные не теряются, но медленнее. Асинхронная — быстрее, но возможна потеря нескольких секунд данных.
Резервное копирование — копии в другом месте, позволяющие откатиться на любую точку во времени. Бэкапы нужны даже при репликации — она не защищает от логических ошибок.
Правило 3-2-1:
- 3 копии данных.
- 2 разных типа носителей.
- 1 копия за пределами основной площадки.
Автоматическое восстановление
Отказоустойчивость — это не про дежурного администратора. Это про систему, которая чинит себя сама.
Что должно работать автоматически:
- Перезапуск упавших ВМ на других узлах.
- Переключение трафика на резервный экземпляр.
- Восстановление данных из реплики.
- Уведомление администратора о сработавшем сценарии.
Для этого нужен мониторинг, проверяющий доступность и корректность работы. И система оркестрации, выполняющая сценарии восстановления по триггерам.
Мониторинг и план действий
Без мониторинга отказоустойчивость не работает. Если вы не знаете, что ВМ упала, вы не сможете её восстановить.
Что нужно мониторить:
- Доступность гипервизоров и узлов кластера.
- Состояние репликации и свежесть бэкапов.
- Загрузку CPU, памяти, дисков.
- Логи ошибок.
- Свободное место на дисках.
План аварийного восстановления (DRP) нужен на случай, когда падает всё. В нём должны быть:
- Список критичных сервисов и их приоритеты.
- Контакты ответственных и их заместителей.
- Порядок действий при разных сценариях.
- Резервные каналы связи.
- Расписание учений — проверка плана на практике.
Отказоустойчивая экосистема для виртуальных машин — это комплекс мер. Кластеризация защищает от падения серверов. Репликация — от потери данных. Бэкапы — от логических ошибок. Мониторинг даёт видимость состояния. DRP готовит к тяжёлым сценариям. Если какой-то элемент выпадает, вся система становится уязвимой.
Начните с аудита текущих рисков. Добавьте резервирование на самых критичных узлах. Настройте мониторинг. Регулярно проверяйте восстановление. Тогда ваши ВМ будут работать в 99% случаев, а в оставшемся 1% — восстановятся за минуты.