Метрики
Числовые показатели во времени: задержка запросов, доля ошибок, загрузка процессора и заполнение диска. По ним удобно замечать изменения и строить оповещения.
Наблюдаемость цифровых систем
Понимать систему, когда она работает. И когда нет.
Атлас о мониторинге, метриках и логах: как собрать картину происходящего, заметить отклонение и найти причину сбоя.
Исследовать атласservice / request rate● наблюдение
время →метрики · события · контекст
Основы
Сигналы, из которых складывается картина
Наблюдаемость помогает понять внутреннее состояние системы по данным, которые она выдаёт. Разные сигналы отвечают на разные вопросы и дополняют друг друга.
Логи
Записи о конкретных событиях: обработке запроса, ошибке приложения или изменении состояния. Они помогают разобраться в деталях после того, как проблема обнаружена.
Трассировки
Путь отдельного запроса через несколько компонентов. Трассировка показывает, где возникла задержка и как связаны вызовы разных сервисов.
Инструменты
От серверов до общей картины
Источники отправляют данные в системы хранения. Grafana объединяет их в дашбордах и помогает исследовать события в общем контексте.
ИсточникиСерверы, контейнеры и приложения
СборАгенты собирают метрики и логи
ХранениеСистема метрик и Grafana Loki
GrafanaДашборды, поиск и уведомления
Grafana: единое окно
Grafana подключается к источникам данных и показывает графики, таблицы и журналы рядом. Дашборд собирает важные показатели сервиса, а правила оповещений сообщают об условиях, требующих внимания.
Loki: поиск по журналам
Grafana Loki хранит журналы и позволяет находить записи по меткам и содержимому. Обычно метки описывают сервис, окружение или узел; уникальные значения вроде идентификатора каждого запроса лучше оставлять в самих записях.
Распределённые логи
Когда запрос проходит через несколько сервисов, записи оказываются на разных машинах. Централизованный сбор и общий идентификатор запроса помогают сопоставить события и восстановить последовательность.
Сроки хранения
Retention — период, в течение которого данные остаются доступными. Его выбирают отдельно для метрик и логов: учитывают задачи диагностики, объём хранилища, стоимость и требования к данным. Затем данные удаляются согласно настроенной политике.
Практика
Мониторинг, который помогает действовать
Полезная система наблюдения не ограничивается количеством графиков. Важно понимать, кто и какое решение примет по каждому сигналу.
Начните с сервиса
Определите, что важно пользователю: доступность, скорость ответа и успешность операций. Затем добавьте показатели компонентов, которые помогут искать причину.
Соберите понятный дашборд
Разместите общее состояние рядом с ошибками, задержкой и нагрузкой. Добавьте переходы к подробным графикам и логам за тот же период.
Настройте уведомления
Оповещайте о проблемах, требующих реакции, и указывайте, где искать контекст. Проверяйте правила, чтобы команда не терялась среди лишних сигналов.
Обсудим вашу задачу
Поможем настроить мониторинг под вашу систему.
Разберём источники данных, дашборды, сбор логов, оповещения и сроки хранения. Напишите нам, чтобы обсудить задачу.