Чему мы научились, пока делали собственную систему уведомлений о нештатных ситуациях

Что делать, если в мониторинге пропали метрики всех сервисов? Кому звонить, если на диске 1% свободного места? Как жить с тысячей правил для системы уведомлений и делает ли это жизнь лучше? Теперь у нас есть Moira — собственная система уведомлений. Доклад о том, как мы страдали, пока её делали, какие принимали решения и ещё о том, что важно не забыть, если захотите сделать такую же.