Задолбался вчера немного одной большой рутинной задачей по работе, которой я ещё неизвестно сколько недель буду заниматься, но одно радовало - сегодня пятница 1 мая. А значит, впереди три выходных! И начиная с вечера до самого понедельника - будет отдых.

Но, к сожалению, дежурство решило меня немного обломать.

В 3 часа ночи первый звонок от L1. Проверил, что сервис не критичный, и оставил до утра.

В 5 часов звонят опять - аналогичная проблема, но уже со всеми сервисами в данной системе.

Система, в которой возникла проблема, сложная, и у меня самого экспертиза по ней довольно поверхностная. В общем, разбираться нужно практически с нуля. Так, потратив 2.5 часика на исследование, и дождавшись разумного времени для утреннего беспокойства, призвал к проблеме опытного бойца из команды.

Оказалось, проблема эта известная. И мне, и команде разработки системы известно о её серьезности. Но теперь я понял на сколько я её недооценил! Просто, у меня даже в голове не укладывалось, что при проектировании системы они могли придумать такую реализацию, и никак не обезопаситься от её очевидного недостатка! 😳

В общем, с коллегой на пару до 12 дня разгребали последствия. Один сервис так и не удалось поднять, и оставил до понедельника для исследования силами команды разработки.

Не выспавшийся, злой, после 7 часов труда с переодическим отвлечением на "пописать", я наконец позавтракал, выпил кофе, и подумал на тему "а как же у них так вышло?" И вспомнилась мне одна беседа с ними, касательно другой их системы, где мы спрашиваем у них: "А как чинить, если вот тут поломается?", а в ответ получаем: "Оно не может тут поломаться." 😳

В общем, мораль всего этого моего повествования: Не будьте беспечны, надеясь на то, что что-то где-то не может поломаться! Вопрос только когда, и при каких условиях это произойдет. И исходите в первую очередь от того на сколько существенны могут быть последствия, и какова процедура их устранения.

P.S. В сегодняшнем инциденте реальные игроки или финансы компании не пострадали. По крайней мере, на сколько мне на данный момент известно. 😀