Аварии на серверах h4 и h5 modhost.pro

Давно не писал интересных заметок, жаль, что повод не очень.

Итак, за последние пару месяцев у нас было 3 проблемы с сервером h4 и 1 с сервером h5. Все аварии по ночам, когда поддержка спит и видит сладкие сны о бесперебойной работе всех сервисов. Последний инцидент был сегодня.

Проблема, как многие уже догадались — в отсутствии свободного места при резервном копировании. Заканчивается место и…
— Отваливается MySQL
— Пользователи видят проблему, не могут войти в админку (пароль-то не проверить, БД не работает)
— Думают, что их взломали (логи сервера с ошибками MySQL смотреть неинтересно) и начинают восстанавливать резервные копии
— А при этом сайт сначала удаляется, но места свободного обычно всё равно не хватает, так что ничего и не восстанавливается
— Дальше отваливается Nginx, когда замечает, что у него пропали конфиги этого удалённого сайта
— Ну и PHP, по той же причине

В общем: паника, разруха, десятки тикетов в поддержке — просыпаешься моментально.

Как же устроено резервное копирование на modhost.pro?

Мы используем Duplicity, который делает 2 полные резервные копии и 6 инкрементальных к ним.

Полная копия — это понятно, взяли всё и запаковали. Инкремент же, это архив только тех файлов, которые изменились с момента предыдущего бэкапа. При распаковке инкремента идёт распаковка полного архива, потом всех инкрементов до нужного — и уже он сам. Выходит дольше, но позволяет сэкономить свободное место, потому что делать даже 3 полных копии каждого сайта очень накладно.

Внимание, для конечного пользователя тип резервной копии значения не имеет! При восстановлении или скачивании любой копии себе — он всегда получит её полную, голый инкремент на 3 мегабайта в изменениями за пятницу ему никто не отдаст. Подробнее про принципы резервного копирования можно почитать тут.

Итого, мы храним максимально 14 бэкапов. Когда подходит очередь делать очередной, 3й полный бэкап, самый первый полный со всеми инкрементами удаляется, и получается 8 бэкапов: 1 полный с 6 инкрементами, и 2-й полный без ничего. Дальше к нему набивается 6 инкрементов и становится 14 копий.

Вот такой круговорот бэкапов в природе. Как нетрудно догадаться, при такой системе свободное место на серверах «плавает».
Например, есть сайт на 10 Гб, который давно работает и всё у него хорошо. Резервные копии, предположим, занимают около 20 Гб (пусть будут 2 полные + 11 инкрементов) в архиве. И тут, внезапно, на сайте решили сделать редизайн и поменять половину картинок товаров, например.
Следующая инкрементальная копия будет гораздо больше обычной, потому что она содержит все новые картинки за этот день. Наш сайт всё еще занимает те же 10 ГБ, но резервные копии весят уже 25 Гб, потому что 7-й инкремент занимает не 100 мб, как обычно, а 5 Гб с новыми картинками.

И вот, когда сервера уже хорошо так заполнены, и на них идёт активная работа, несколько таких совпадений приводит к нехватке свободного места. Как вы теперь видите, предсказать это довольно сложно, и долгое время я пытался как-то вручную развести бэкапы больших сайтов. К сожалению — не получилось.

Тогда я сократил количество бэкапов для сервера h4, где собрались сразу 4 тяжелых сайта, весом больше 10Гб до 1 полного + 6 инкрементов. Предсказуемо пошли жалобы, «а куда делись мои бэкапы?».

Так что, хорошенько подумав, была изобретена

Новая система

— Количество бэкапов возвращается к исходному, формула 2 + (2 * 6)
— При создании любой новой резервной копии теперь проверяется процент свободного места на SSD
— Если он меньше 15%, то вместо создания новой копии, у сайта удаляется предыдущий полный бэкап с инкрементами
— Место освобождается, и пользователь может попробовать снова
— При создании бэкапов массово ночью, юзеры теперь обрабатываются в случайном порядке. То есть, не будет несправедливой ситуации, когда пользователи до середины списка с 2 полными бэкапами, а для остальных места всегда не хватает.

Таким образом, я надеюсь, что количество резервных копии для всех пользователей автоматически «размажется» по SSD сервера и падений из-за нехватки свободного места больше не будет. При этом, все сайты будут иметь как минимум 1 полную копию с инкрементами, а большинство — и вторую, если хватает свободного места.

По мере удаления старых бэкапов и естественного движения пользователей (переезд на другой сервер, удаление сайта по каким-то причинам), места станет больше, и у всех всегда будет от 8 до 14 резервных копий.

Заключение

Эта проблема касается только двух серверов: h4 и h5, так что, если вам нужно гарантированно 14 бэкапов — переезжайте на более свободные сервера в РФ, там в 2 раза больше SSD.

Сделать это можно в любое время, совершенно бесплатно, смотрите раздел «Смена тарифа или сервера».

Если вы не делегировали свой домен нам — то вам нужно будет еще поменять IP для записи A в настройках своего DNS.

На данный момент проведены все необходимые работы по обслуживанию резервных копий на всех серверах и запущено обновлённое ПО с проверкой свободного места. Я думаю, что проблема решена, но буду пристально наблюдать за свободным местом в специальной табличке:


Если у вас остались какие-то вопросы, не стесняйтесь, задавайте их в комментариях.