Иногда ИТ-утро похоже на организм без кофе: вроде жив, а делать вид, что работает, сил нет. Так и здесь — критическое медприложение просыпалось, зевало и на пике нагрузки уходило в «несознанку» на полчаса. Врачи, админы, пациенты — все стояли в очереди к зависшему экрану, как в регистратуре девяностых.
На сцене — консультант по Linux, которого отправили «прощупать здоровье» крупного сервера. Под капотом: сложная Java‑вебка в виртуалках, база на Postgres, внешнее хранилище, три сервера (один — тёплый запасной для базы). Звучит уверенно, но по утрам система превращалась в лёд ровно тогда, когда нужна была максимально бодрой.
Внутрикомандный хор обвинений был отлажен: виртуализаторы кивали на хранилище, хранители — на приложение, разработчики — на ОС. Отношения с вендором — как у терапевта с соседским стоматологом после форума с сарказмом: натянутые и с намёком на юристов.
Наблюдение выявило странность: приложенческий сервер скучал, а база вела себя как тренажёр во время марафона. При очередном ступоре выяснилось, что кто‑то запускает длинные апдейты, лочащие строки, и весь остальной трафик терпеливо стоит в очереди. «Кто‑то» оказался вендором, который тихо правил ошибки в живой базе в разгар рабочего дня. Без уведомлений, без окна изменений, без «пардон».
И когда казалось, что дальше падать некуда, нашёлся люк вниз. Проверка безопасности показала настройку доступа уровня «открытые двери и табличка “заходи, кто хочешь”»: по сути, любой пользователь с любого узла мог зайти в любую базу кем угодно. А внутри — медданные, персоналка, платежи. Сообщили менеджменту — а оттуда прилетело спокойное: «Так и надо, разработчики сказали».
Диагноз прост и стар как админские байки: изменения — только через стенд и окно, патчи — без сюрпризов, а доступ — по принципу наименьших привилегий. Всё остальное — рецепт утреннего коматоза, нулевой доверия и бесконечных извинений. И, да, список вендоров «никогда снова» пополнился ещё одной строкой.