LINUX.ORG.RU
Форум — Admin  

Grafana для мониторинга Kubernetes на большинстве диаграмм пишет No data

 , ,


0

1

Подскажите, почему в Графане при мониторинге кластера кубернетса некоторые диаграммы пишут No data?

Например, диаграмма Pods CPU usage (1m avg) с вот таким запросом: 

sum (rate (container_cpu_usage_seconds_total{image!="",name=~"^k8s_.*",kubernetes_io_hostname=~"^$Node$"}[1m])) by (pod_name)
упрямо пишет No data, хотя поды, конечно, в кластере есть.

Перемещено hobbit из general

  • попробуй запрос прометею скормить прямо, посмотри ответ.

  • там же попробуй более простой запрос без оконных и агрегирующих функций

  • после попробуй изменять размер окна ([1m]) - например, данные могут собираться реже, чем это значение

aol ★★★★★
()
Последнее исправление: aol (всего исправлений: 1)
Ответ на: комментарий от aol

Прометею запрос кормил, он почему-то выдаёт Empty query result.

Причём скармливал ему и те запросы, которые графана отображает.

Например, на запрос количества ядер

sum (machine_cpu_cores{kubernetes_io_hostname=~"^$Node$"})

Графана выдаёт 4 ядра, а Прометей - пустой результат.

С размером окна тоже игрался, результат в Графане не меняется.

Куда копать?

krot_v_lodke
() автор топика
Ответ на: комментарий от krot_v_lodke

Разбирайся c конфигом прометея. Эта метрика приходит из cadvisor. Видимо у тебя не собирается с него метрика. Найди где настройка соответствующая и попробуй понять что не так.

vbr ★★★
()
Ответ на: комментарий от krot_v_lodke

Прометей - пустой результат

ты его прямо спроси: machine_cpu_cores и посмотри :)

Графана выдаёт 4 ядра, а Прометей - пустой результат.

а ты уверен, что прометей, указанный источником в графане и тот, в который ты напрямую ходишь - это один и тот же прометей? :)

aol ★★★★★
()
Ответ на: комментарий от aol

ты его прямо спроси: machine_cpu_cores и посмотри :)

Тут Прометеус сдался и нарисовал 4 ядра :)

а ты уверен, что прометей, указанный источником в графане и тот, в который ты напрямую ходишь - это один и тот же прометей? :)

Ну да. Адрес источника одинаковый.

krot_v_lodke
() автор топика

Общий подход простой: Если ‘no data’, значит либо этих данных нет в прометее и нужно разобраться, что это за метрики откуда они должны приходить и почему не приходят, либо данные есть, но вы их неправильно спрашиваете. Тут нужно выяснить как работает язык запросов в прометее и источники данных с переменными в графане. После чего всё станет очевидно.

ugoday ★★★★★
()
Admin