Grafana для мониторинга Kubernetes на большинстве диаграмм пишет No data

• попробуй запрос прометею скормить прямо, посмотри ответ.

• там же попробуй более простой запрос без оконных и агрегирующих функций

• после попробуй изменять размер окна ([1m]) - например, данные могут собираться реже, чем это значение

Прометею запрос кормил, он почему-то выдаёт Empty query result.

Причём скармливал ему и те запросы, которые графана отображает.

Например, на запрос количества ядер

sum (machine_cpu_cores{kubernetes_io_hostname=~"^$Node$"})

Графана выдаёт 4 ядра, а Прометей - пустой результат.

С размером окна тоже игрался, результат в Графане не меняется.

Куда копать?

Разбирайся c конфигом прометея. Эта метрика приходит из cadvisor. Видимо у тебя не собирается с него метрика. Найди где настройка соответствующая и попробуй понять что не так.

Прометей - пустой результат

ты его прямо спроси: machine_cpu_cores и посмотри :)

Графана выдаёт 4 ядра, а Прометей - пустой результат.

а ты уверен, что прометей, указанный источником в графане и тот, в который ты напрямую ходишь - это один и тот же прометей? :)

ты его прямо спроси: machine_cpu_cores и посмотри :)

Тут Прометеус сдался и нарисовал 4 ядра :)

а ты уверен, что прометей, указанный источником в графане и тот, в который ты напрямую ходишь - это один и тот же прометей? :)

Ну да. Адрес источника одинаковый.

Ну очевидно, у тебя тут переменная из графаны, которую прометей не жрёт. А метрик-сервер в кластере есть?

вот, верно выше подсказывают. теперь разбирайся с переменными.

А метрик-сервер в кластере есть?

Прометеус установил kube-state-metrics, про него вопрос?

Про этот: https://github.com/kubernetes-sigs/metrics-server

Нет, вроде.

grafana-77755d7869-lfsww
prometheus-alertmanager-0
prometheus-kube-state-metrics-6c78d5d6d7-48c8l
prometheus-prometheus-node-exporter-jv67d
prometheus-prometheus-pushgateway-7c758897fd-9btfx
prometheus-server-5d6b4fd75-pjqpw

Общий подход простой: Если ‘no data’, значит либо этих данных нет в прометее и нужно разобраться, что это за метрики откуда они должны приходить и почему не приходят, либо данные есть, но вы их неправильно спрашиваете. Тут нужно выяснить как работает язык запросов в прометее и источники данных с переменными в графане. После чего всё станет очевидно.

Всё может быть даже проще. В дашбордах, которые ставятся helm’ом, старые названия метрик. Надо поправить запросы.

В дашбордах, которые ставятся helm’ом, старые названия метрик. Надо поправить запросы.

Я дашборд вручную добавлял по ID.

Тем более.