Grafana and Prometeus

У каждого запроса может указываться датасорс. Нередко делают что на дашборде есть переменная $datasource которая назначается из подходящих датасорсов графаны и назначается на каждоый запрос в дашборде.

У grafana есть ограничение - если в dashboard используются параметры (variables), то alert’ы для него задать нельзя

Поэтому часто datasource указывается не через переменную, а прямо в запросах. Тогда, если dashboard экпортирован корректно, то при импорте grafana предложит выбрать для него datasource. Если экспортирован не корректно, возможно тебе придётся править json перед импортом

Оба ответа прочитал, спасибо, но ясности не прибавилось.

Что мне больше не понятно, я все эти 2 node прописал в prometeus. Так зачем в графане разные дата сурце нужны ? Я там указал на сам прометеус и в нем как раз все ноде прописаны. Не очень понятна логика :(

Так зачем в графане разные дата сурце нужны ?

Для подключения разных datasource %)

Например, у тебя есть prometheus и grafana loki. Или elasticsearch. Или ещё и zabbix с influxdb. Ну или ты в каждом ЦОД’е собираешь данные в локальный prometheus, и все они подключены к grafana

Причём в elasticsearch разные типы логов обычно кладутся в разные index pattern. А они подключаются к grafana как отдельные datasource

Ну или более распространённый пример, свежие метрики у тебя в prometheus, а архивные ты выгружаешь в victoriametrics. Будет два разных datasource

Ну или ты в каждом ЦОД’е собираешь данные в локальный prometheus, и все они подключены к grafana

Так, тогда значит я не понимаю как работают dashboard.

Вот в прометеус я напихал 2 node и могу еще напихать, вот они списоком и все понятно. А как это в grafane ?

Я привык к nagios, вот список хостов, ткнул в нужный и получил график на тот хост что выбрал. В grafane что должно быть столько же dashboard сколько у меня node ? И что на каждый dashboard нужно ручками выставлять источник ? Хотя у меня источник это и есть локальный prometeus …

Извините что туплю, просто нужно врубиться в идеологию и сразу все понятно станет.

Я привык к nagios, вот список хостов, ткнул в нужный и получил график на тот хост что выбрал

Если не будешь использовать alert’ы (по крайней мере для этого обзорного dashboard), то можно в свойствах dashboard сделать переменную $host со списком хостов

label_values(METRIC_NAME, LABEL_NAME)

на dashboard’е сверху появится выпадающий список со значениями

а в графиках можно использовать эту переменную $host при составлении запросов

получится, что dashboard один общий, а при просмотре хост выбираешь из выпадающего списка

В grafane что должно быть столько же dashboard сколько у меня node ? И что на каждый dashboard нужно ручками выставлять источник ?

Ну вообще есть ещё другой вариант, с provisioning. Это когда ты не создаёшь dashboard’ы сам, а забираешь их из git’а в каталог, указанный в настройках grafana для provisioning.

Grafana при старте (или рестарте) читает каталог и импортирует всё из него. А сами однотипные dashboard’ы довольно просто наштамповать скриптом по шаблону

Тогда они будут безо всяких variable и при желании можно использовать alert’ы в grafana

Да, для provisioning dashboard запрещено ручное редактирование. Т.е. они становятся read only. Надо поменять - меняешь в git и заново деплоишь

Спасибо. Буду пробовать. Вроде то что нужно, визализация выбраного из списка хоста готовым dashboard. Я этот dashboard загрузил из json через импорт.

Про алерты не очень понял. Зачем мне алерты в графане, мне алертов хватит и в прометее, что произошло сразу оповещение …

https://grafana.com/docs/grafana/latest/alerting/

Не надо - и ладно.

В моём понимании графана в общем случае объединяет несколько источников в один. Так-то ты и дашборды можешь делать через prometheus console без всякой графаны.

В моём понимании графана в общем случае объединяет несколько источников в один.

Ну я тоже так подумал. Главное чтобы это было без особо долгой предварительной настройки. Валятся они в прометеус и валятся а тут хлоп решил поглядеть на пару серваков раз и глянул, сравнил …

По сути эта визуализация такое себе поэтому хотелось без заморочек. Вот надыбал :https://raw.githubusercontent.com/sysdiglabs/prometheus-hub-resources/master/resources/windows/images/windows-overview-grafana.png

Думаю буду по из списка выбирать хосты на посмотреть и все.

Все таки у меня трудности с пониманием.

Прочитал кучу доки, просмотрел кучу примеров, ни разу не увидел как добавить другой job в grafana, как сделать выбор host. Вообще не понятно. Все доки либо куцые либо ставят как урл prometeus и все.

У меня есть data-source на прометей, я создал свой dashboard и там все пашет. Но как стороний заствить брать нужные данные (другой job) из прометея не фига не понятно :(

Походу отбой, все эти переменные (с метрики) уже имеют другие имена, не такие как в json grafane. Короче после каждой загрузки такого json нужно квырять его под соответствующие данные :(

У меня есть подозрение, что ты просто не подключил соответствующий exporter к prometheus

Ну т.е. сначала ты собираешь какие-то данные в prometheus (через exporter) потом отображаешь их на dashboard

Если у тебя в prometheus нет метрик, которые нужны для импортированного dashboard, скорее всего ты их не собираешь :)

Увы с prometeus у меня вопросов нет, и там я все что нужно смотрю про графам и т.д. вопросы как раз по grafana были …

Я просто думал что там как то более менее стандартизировано.