Падение h3.modhost.pro

Сегодня, примерно в полпервого ночи по московскому времени, один и серверов нашего хостинга начал отдавать ошибку 504 для всех сайтов из-за превышения допустимой нагрузки.

Каким-то образом, процесс MySQL занял все 8 ядер процессора на 100%, в следствии чего PHP не мог отвечать на запросы и все сайты отдавали 504 Gateway Timeout.

На данный момент я разбираюсь, что именно произошло, и рабочая версия состоит в том, что виноват один из cron скриптов, которые выполняются по расписанию.

На данный момент работоспособность восстановлена, MySQL и PHP перезапущены и я приложу все усилия, чтобы такое больше не могло повториться. Скорее всего, придётся наложить какие-то ограничения на запуск скриптов в консольном режиме.

Приношу свои самые искренние извинения!

Общее время простоя составило около 5 часов, затронуты были все сайты h3.modhost.pro, остальные никак не пострадали.
Василий Наумкин
Василий Наумкин
24 сентября 2015, 23:09
modx.pro
1 474
+2

Комментарии: 9

Василий Наумкин
Василий Наумкин
25 сентября 2015, 07:19
+4
Добавил некоторые ограничения на работу скриптов в консоли и выполнение запросов MySQL.

Скорее всего, никто их не заметит но подвесить сервер по ошибке уже не получится.
    Алексей
    Алексей
    25 сентября 2015, 10:54
    0
    Сегодня было тоже самое у меня на vps сервере timeweb
      Владимир
      Владимир
      12 октября 2015, 23:45
      0
      Снова упал h3.modhost.pro 504 Gateway Time-out ((
      Печаль…
        Василий Наумкин
        Василий Наумкин
        13 октября 2015, 03:39
        0
        Да, на этот раз виноват не MySQL, а PHP. Разбираюсь, принимаю меры.

        Понимаю, что это звучит глупо, но сэмулировать такое никак не получается, поэтому читаю логи и пытаюсь понять, как такое могло выйти.

        Если у кого есть желание переехать на более свободный сервер H4 — пишите в техподдержку хостинга, организую.
          Василий Наумкин
          Василий Наумкин
          13 октября 2015, 07:22
          +4
          Сервер теперь проверяет сам себя каждые 10 минут. Если сайты не отвечают в течении определённого времени, то все нужные сервисы будут перезапущены, а мне придёт уведомление, чтобы проверил как там дела.

          Очень жалею, что не додумался написать такую проверку раньше.
            Владимир
            Владимир
            13 октября 2015, 07:45
            0
            Приветствуем развитие и надеемся на надежность! Все ок!
              Владимир
              Владимир
              13 октября 2015, 11:07
              0
              Досадно, что это случается, но уверенность в восстановлении работы и сохранности данных есть! Спасибо!
                Василий Наумкин
                Василий Наумкин
                13 октября 2015, 11:13
                +1
                На нашем хостинге, хотя-бы, всегда можно найти виноватого (меня) и поругаться.

                Это редкая возможность для любого сервиса =)
                  Владимир
                  Владимир
                  13 октября 2015, 11:15
                  +1
                  Заметь, ни когда) Ни когда не ругаюсь.
                  Знаю, что все будет Ok. Очень радует ответственный подход к делу. Еще раз, спасибо!
            Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
            9