Резервное копирование без деградации производительности

Переход на отечественное системное ПО, рост объемов данных и ужесточение требований регуляторов продолжают изменять ИТ-ландшафт корпоративного бизнеса. Если пять лет назад резервное копирование инфраструктуры объемом в 1 ПБ считалось штучным проектом, то сегодня петабайтные бэкапы стали типовой задачей для крупного бизнеса и госсектора.

Параллельно обострилась проблема гетерогенности: вместо связки из Windows Server и пары дистрибутивов Linux инженерам теперь приходится администрировать десятки различных платформ виртуализации, СУБД и ОС. В этих условиях классические методы бэкапа начинают конфликтовать с рабочими нагрузками, исчерпывая вычислительные и дисковые ресурсы и пропускную способность сетей.

На вебинаре «Кибер Бэкап: защита высоконагруженных инфраструктур» менеджер продуктового маркетинга Тимур Гусейнов разобрал технологии и практики, позволяющие эффективно защищать высоконагруженные среды. В статье собрали ключевые тезисы прямого эфира. 

Что такое высоконагруженная инфраструктура для системы резервного копирования

С точки зрения процессов резервного копирования и восстановления под высоконагруженной инфраструктурой понимается среда с большим объемом данных и высокой плотностью разнородных источников:

• Серверов и рабочих станций под управлением различных ОС
• Виртуальных машин и гипервизоров
• Экземпляров и распределенных кластеров СУБД
• Систем корпоративных коммуникаций с десятками тысяч почтовых ящиков
• Сетевых и программно-определяемых хранилищ данных

В крупных средах ручное управление процессами становится технически нежизнеспособным. Высокие нагрузки требуют от системы резервного копирования автоматизации и строгого контроля: соблюдения окон бэкапа для исключения конфликтов с другими системами, выдерживания целевых показателей RTO и RPO, регулярной проверки возможности восстановления из резервных копий.

Управление нагрузкой в таких условиях строится на применении комплекса организационно-технических мер:

• Перевод резервного копирования на инкрементные копии на уровне блоков
• Гибкое планирование расписания бэкапов
• Установка квот утилизации ЦП и сетевых каналов
• Создание политик хранения резервных копий и очистки хранилищ
• Многоуровневая фильтрация данных для резервного копирования
• Включение дедупликации для сокращения объемов передаваемых и хранимых данных

Архитектурное масштабирование: переход сервера управления на PostgreSQL

Основными источниками данных по количеству объектов на предприятиях остаются почтовые ящики и виртуальные машины. Число почтовых ящиков рассчитывается с понятным коэффициентом (в среднем около 1,5 ящика на одного сотрудника), тогда как количество виртуальных и физических машин определяется архитектурой конкретной организации. С ростом числа защищаемых узлов ключевым фактором масштабируемости становится база данных самого сервера управления. В ней хранится вся информация о системе и ее окружении. 

Изначально Кибер Бэкап поставлялся со встроенной базой данных SQLite. Для средних и крупных сред со временем она становилась узким местом. Добавление поддержки PostgreSQL в качестве СУБД сервера управления позволило снять этот барьер. Например, при использовании SQLite сервер управления поддерживал до 6000 источников данных, переход на MS SQL Server позволил увеличить это число до 8000, а PostgreSQL обеспечивает поддержку до 60 000 почтовых ящиков или до 20 000 виртуальных машин.

Производительность агентов и формат архива TIBX

Скорость сбора данных и снижение влияния бэкапа на рабочую среду зависят от механизмов работы агентов и структуры хранения архива:

• Многозадачность агентов (ОС Windows и Linux). Один установленный агент Кибер Бэкапа может параллельно выполнять несколько заданий резервного копирования. На нагрузочных тестах одновременный запуск 14 задач полного бэкапа общим объемом ~90 ГБ показал сокращение времени выполнения с 15 до 5 минут. Это позволяет укладывать ресурсоемкие задачи в выделенные окна резервного копирования.
• Многопоточное файловое резервное копирование. Механизм позволяет одновременно обрабатывать до 24 параллельных потоков файлов из одной или нескольких папок на локальных или сетевых дисках. В настоящее время функция настраивается через конфигурационные файлы, а разработчики ведут оптимизацию алгоритмов, чтобы исключить падение производительности в специфических сценариях. Перенос управления многопоточностью в веб-интерфейс запланирован на 2027 год.

Свойства проприетарного формата архива TIBX

Формат архива TIBX оптимизирован для снижения нагрузки на дисковую подсистему и сетевые каналы:

• Хранение в едином архиве: полные, дифференциальные, инкрементные копии, зависимости и метаданные хранятся в одном архиве (с возможностью деления на тома заданного размера под ограничения файловой системы или носителей)
• Длинные цепочки инкрементов: алгоритмы обеспечивают отсутствие деградации скорости чтения и записи даже при наличии более 100 последовательных инкрементных копий в цепочке
• Быстрый синтез копий: создание полной резервной копии до последней или до выбранной точки восстановления вне источника данных с валидацией целостности ее структуры и данных внутри нее
• Локальная дедупликация: совпадения исключаются внутри каждой цепочки на источнике данных, снижая объем передаваемой информации без падения скорости создания копии
• Контроль целостности: проверка структуры архива выполняется автоматически при каждой операции чтения
• Управляемое сжатие: уровень настраивается в параметрах плана — от полного отключения (для разгрузки процессора источника) до максимизации (для экономии пропускной способности сети и емкости хранилища).

Подробнее об особенностях формата и механизмах работы архива резервных копий читайте в Базе знаний.

Защита платформ виртуализации: уровни интеграции

Кибер Бэкап поддерживает более 20 платформ виртуализации (VMware, Hyper-V, zVirt, РЕД Виртуализация, ROSA Virtualization, Basis Dynamix, Proxmox VE, SpaceVM и др.) с разными функциональными уровнями поддержки. Каждый следующий помогает решать все более сложные архитектурные и операционные задачи:

1. Безагентное резервное копирование. Резервное копирование выполняется на уровне гипервизора без установки агента в каждую защищаемую ВМ. Агент разворачивается в виде специализированной ВМ — «виртуального устройства» (virtual appliance), считывает данные из программных моментальных снимков и передает их в виде архива в хранилище резервных копий.
2. Поддержка тегов ВМ. Теги представляют собой произвольные метаданные в формате «ключ-значение» для логической классификации ВМ. При создании резервной копии теги сохраняются и при восстановлении автоматически применяются к новым экземплярам, обеспечивая полную преемственность атрибутов. 
3. Поддержка CBT и LAN-free. Технологии для ускорения резервного копирования и снижения нагрузки на сеть. Механизм CBT отслеживает изменения на диске на уровне блоков и сохраняет их в инкрементную копию. Режим LAN-free организует передачу данных напрямую от СХД к хранилищу через выделенную сеть, минуя локальную.
4. Аппаратные моментальные снимки СХД. Реализация на отечественном стеке СХД YADRO TATLIN.UNIFIED и платформы zVirt. Аппаратные снимки создаются на уровне СХД, не перегружают хост виртуализации и обеспечивают консистентность данных, сокращая время жизни «тяжелого» программного снапшота до секунд.
5. Мгновенное восстановление. Запуск виртуальной машины, которая содержит саму машину или все тома, необходимые для запуска операционной системы. Диски эмулируются непосредственно из резервной копии, и восстановить работоспособность виртуального сервера можно за считанные секунды.

В Кибер Бэкапе 19 будет оптимизирован протокол взаимодействия агента для VMware с сервером управления, что позволит сократить служебный сетевой трафик между ними в два раза.

Уровни защиты платформ виртуализации показаны в следующей таблице. Каждый следующий уровень дополняет набор функций предыдущих уровней (за исключением Hyper-V, одной из первых, наряду с VMware, систем виртуализации, для которой мы реализовали защиту на уровне гипервизора).

Подробнее о том, как Кибер Бэкап трансформирует защиту виртуальных машин — от безагентного резервного копирования до мгновенного восстановления — читайте в статье «Как в Кибер Бэкапе обеспечивается защита ВМ».

Резервное копирование СУБД: фокус на PostgreSQL

На долю PostgreSQL и СУБД на его основе (Postgres Pro, Jatoba, Tantor) приходится 80–90% задач продуктовой команды Кибер Бэкапа в сегменте баз данных.

Развитие механизмов защиты PostgreSQL в Кибер Бэкапе:

• До 2024 года: использовалась стандартная консольная утилита pg_basebackup
• Версия 18: реализован собственный многопоточный механизм резервного копирования, взаимодействующий с СУБД через низкоуровневые запросы, не использующие стандартные утилиты многопоточного резервного копирования
• Версия 18.5: добавлено многопоточное инкрементное копирование без использования WAL и параллельное резервное копирование журналов транзакций для обеспечения восстановления на момент времени с настройкой через веб-интерфейс.
• Планы на версию 19: многопоточное полное резервное копирование экземпляров СУБД в кластерах Patroni и Jatoba, поддержка утилит walsummary,  pg_probackup и механизмов библиотеки libpgprobackup.

Результаты тестов (резервное копирование и восстановление базы данных 126 ГБ)

Собственный механизм Кибер Бэкапа показывает скорость создания копии, сопоставимую с узкоспециализированными утилитами, но при операциях восстановления пока уступает pg_probackup. Поддержка различных библиотек и нативных утилит дает бизнесу свободу выбора в зависимости от архитектурных задач и требований к RTO.

Настройку агента, запуск инкрементного копирования и восстановление на примере PostgreSQL смотрите в записи вебинара «Быстрый старт. Защита СУБД PostgreSQL».

Корпоративные коммуникации и хранение данных

Кластеризация почтовых агентов

Для защиты почтовых серверов на десятки тысяч ящиков (CommuniGate Pro, VK WorkSpace, Mailion) в Кибер Бэкапе применяется механизм кластеризации:

• Несколько агентов объединяются в единую группу под управлением одного плана резервного копирования
• Сервер управления автоматически распределяет пулы почтовых ящиков между агентами и выравнивает очередь
• Резервное копирование ускоряется: увеличение числа агентов в 5 раз ускоряет создание бэкапа примерно в 4 раза

Подробнее об использовании нескольких агентов резервного копирования читайте в соответствующих разделах документации для CommuniGate Pro и VK WorkSpace.

Роль программной СХД Кибер Хранилище

Для размещения растущих архивов резервных копий применяется программная СХД Кибер Хранилище, работающая на базе стандартного серверного оборудования:

• Производительность: выдает порядка 2 ГБ/с на один узел хранения (суммарная скорость записи достигает 20 ГБ/с)
• Протоколы доступа: блочный, файловый, объектный (S3) и специализированный протокол Backup Gateway (BGW) для интеграции с Кибер Бэкапом
• Отказоустойчивость: поддержка репликации и избыточного кодирования (Erasure Coding до схем 61+3). Система сохраняет работоспособность при выходе из строя до 30–40% узлов
• Области отказа: механизм распределения фрагментов данных по областям заданного охвата при репликации или избыточном кодировании

Безопасность и централизованное управление

Поскольку инфраструктура резервного копирования является приоритетной целью при направленных атаках, в Кибер Бэкап заложен комплекс защитных мер:

• Встроенная защита от вирусов-шифровальщиков: эвристическая система на базе машинного обучения отслеживает процессы, запущенные на защищаемой системе. Когда процесс сторонней программы пытается шифровать файлы или запускает математические вычисления в фоновом режиме, похищая вычислительную мощность и увеличивая сетевой трафик, модуль Кибер Бэкапа «Активная защита» создает оповещение и выполняет дополнительные действия в соответствии с заданными настройками. Функция включена в стандартную лицензию продукта.
• Ролевая модель и аудит: выделенные роли (RBAC), журнал аудита с передачей событий в SIEM-системы, шифрование служебного трафика между компонентами.
• Неизменяемость копий: в разработке находится новая версия  Кибер Медиасервера с поддержкой неизменяемых резервных копий. Реализована интеграция с отечественными аппаратными однонаправленными шлюзами передачи данных (дата-диодами InfoDiode), исключающими обратную связь на физическом уровне. Подробнее о вариантах обеспечения неизменяемости резервных копий см. в статье «Средства защиты резервных копий и данных внутри них»
• Интеграция с инфраструктурными сервисами: поддержка служб каталогов (Active Directory, FreeIPA, Samba DC, LDAP/LDAPS)  и интеграция с Grafana и Zabbix по лучшим практикам мониторинга бэкапов (шаблон для Zabbix — в версии 19).
• Пакетное управление планами защиты: уже в средних инфраструктурах число планов защиты может исчисляться сотнями, что в ряде сценариев делает индивидуальное управление ими в веб-интерфейсе неоправданно ресурсоемким. Пакетное управление планами защиты (их запуск и остановка, а также включение и отключение) позволяет радикально сократить ресурсоемкость соответствующих массовых операций.
• API управления: открытые программные интерфейсы, относящиеся к работе с резервными копиями и планами резервного копирования, включая просмотр резервных копий и архивов, удаление резервных копий, а также резервное копирование платформ виртуализации и ряда приложений.

Сессия вопросов и ответов (Q&A)

Вопрос
Требуется шифровать резервные копии при их репликации во внешнее S3-хранилище. Поддерживается ли это?
Ответ
В текущей версии шифрование задается в параметрах плана резервного копирования. Если копия зашифрована изначально, она передается в хранилище уже в зашифрованном виде. Рекомендуется настраивать шифрование на этапе создания копии.

Вопрос
Где физически хранятся метаданные Changed Block Tracking (CBT)?
Ответ
Отслеживание и ведение карты измененных блоков выполняется средствами самой платформы виртуализации. Кибер Бэкап запрашивает этот список при выполнении задач резервного копирования. 

Вопрос
Как автоматизировать периодический перенос резервных копий в другое хранилище?
Ответ
Для автоматического периодического переноса резервных копий в другое хранилище используется механизм планов репликации по расписанию. План репликации автоматически определяет, какие точки восстановления (полные и инкрементные) нужно перенести, и при необходимости инкрементная копия может быть преобразована в полную в целевом хранилище, если там отсутствует соответствующая цепочка. Ручной экспорт при этом не требуется.

Вопрос
Появится ли двухфакторная аутентификация (2FA) для входа в веб-консоль в Кибер Бэкапе 19?
Ответ
В версии 19 двухфакторная аутентификация не появится, задача находится в разработке и запланирована на следующие релизы.

Вопрос
Будет ли реализована многопоточность для операций репликации архивов?
Ответ
Задача по ускорению репликации (включая внедрение многопоточности) находится в бэклоге разработки. Репликация в Кибер Бэкапе — это не простое копирование файла, а разбор структуры архива, проверка контрольных сумм и синтез данных, поэтому оптимизация этого процесса требует отдельной переработки алгоритмов.

Заключение

Эффективная защита высоконагруженных сред строится на системном подходе:

• Снятии ограничений масштабирования за счет переноса сервера управления на PostgreSQL
• Использовании оптимизированного формата TIBX, гарантирующего стабильную скорость чтения на длинных цепочках инкрементных копий
• Многоуровневой интеграции с платформами виртуализации и разгрузке гипервизоров с помощью CBT, LAN-free и аппаратных снимков СХД
• Гибком выборе инструментов бэкапа для PostgreSQL под целевые показатели RTO/RPO
• Эвристической защите бэкапов от шифровальщиков и вредоносных программ, уничтожающих данные

Презентация Кибер Бэкапа 19 состоится на вебинаре 22 октября в 13:00 (МСК).

Для оценки возможностей системы в вашей инфраструктуре доступна полнофункциональная 30-дневная пробная версия с технической поддержкой.

Связанные статьи

• Резервное копирование виртуальных машин zVirt с помощью аппаратных снимков СХД
  
• Репликация или избыточное кодирование: как настроить отказоустойчивость в Кибер Хранилище
  
• Средства защиты резервных копий и данных внутри них
  
• Лучшие практики: RTO и RPO
  
• Как технологии Кибер Бэкапа помогают нашим крупным заказчикам