Zabbix 3.2

Департамент информационных технологий. Государственная шарашка по распилу бюджетов выделенных на «информатизацию великой россии».

Норм шутёха. Но, тем не менее, спасибо :)

Я вчера смотрел, когда ещё пакетов не было. В доках ссылки вообще только сегодня обновили.

В доках был косяк, в них было указание на 3.0, а пакеты 3.2 уже были на месте. Алексею на хабре это указали и они поправили, насколько я понимаю.

Хех, а вчера-то и релиза не было ещё. Ну хоть пакеты нашлись.

Спасибо, а я думал, почему это упомянуто в каменте, видимо ради эффекта какого-то. Более интересно, сколько у них хостов примерно...

Со SCOM немного знакомился года 4 назад, виндовые коллеги разворачивали, а я на линуксовые машины агентов навешивал. Я ни в чём не уверен, но там нет возможности использовать произвольные скрипты на линуксе, нет возможности посылать информацию на сервер, как Zabbix trap. По тому давнему опыту SCOM это для мониторинга майкрософтовской инфраструктуры. Хотя конечно всё могло поменяться в лучшую сторону, как например с Hyper-V.

организация узлов сети во вложенные группы;

О, даже при моей жизни. Это победа!

Я тоже не работал там, а работал С ними. Наша контора им Zabbix прикручивала. Вернее, так-то он у них и без нас был, но фрагментарно куча несвязанных инстансов мониторила абы что.

Перелить не проблема, тот-же ssrs к нему прицепить тоже.

Болт с сервисами и вообще всем что там придумали для костыльянья SLA, аппендикс инвентори бесит куда больше.

Вроде и хорошая задумка прикрутить минимальную CMDB к которой можно привязаться (хотя-бы в разрезе БД), а на выходе такой же мутный и мало применимый кусок legacy.

https://prometheus.io/

Отлично! Ушел обновляться.

С каким сообщением в лог?

https://support.zabbix.com/browse/ZBX-11203

100-150 тысяч - чем обоснована такая цифра? Если просто влить хосты и ничего дальше с ними не делать то можно заявить и миллионы... Все зависит от количества параметров которые вы хотите измерять, способов измерения и т.д. А еще в ответе не указана конфигурация железа под эти 100-150 тысяч, да и того страшнее конфигурация кластера :)

SLA, кстати, вообще на стороне фронтенда считаются, но для этого в базе данных сервера заведены поля goodsla и showsla. API только кажется, что весь реализован на тормозном php-коде. Часть реализована на сервере, чем пользуется и фронтенд. Например, внешние команды можно выполнять, не авторизуясь, а queue.get (получить очередь итемов) - только с авторизацией.

А интерфейс конфигурирования в вебморде всё такой же инопланетянский?

Кейс: Смотрю график. Замечаю, что на нём не хватает какого-нибудь item’а.

Как приходится делать: Configuration → Hosts (или Templates), ищем нужный хост или шаблон, Graphs, ищем нужный график.

Как надо: на странице, показывающей график, кнопка (или ссылка) «Конфигурировать это». Аналогично со screen’ами.

Не хочешь бетатеситть - не ставь бетаверсии... М?
Бином Ньютона, что ли?

Интерфейс постепенно улучшается, но пока никаких изменений касательно графиков нет.

Есть планы официально подружиться с графаной? Пользуюсь grafana + плагин Александра Зобнина

100-150 тысяч - чем обоснована такая цифра

Да красивой цифрой.

Под такое количество хостов надо будет поставить 100-150 прокси, которые будут хоть как-то распределять нагрузку. А если сегменты сети не стабильны - то под каждую прокси надо будет тазик этак с 16 гигами памяти чтоб запускать сотнями unreachable pollers и pollers - иначе - жопа.

https://support.zabbix.com/browse/ZBX-11203

Дык это давно прогнозируемое. systemd помогает (С). ну не умеют у них программеры по человечески накатывать обновления баз. Особенно бесит, что при изменении полей в таблицах которые не используются в прокси - приходиться пересоздавать по новой sqlite базу. А то видите-ли «патчлевел не тот, а sqlite версию апгрейдилки мы писать не будем».

А зачем пересоздавать базу sqlite на прокси? Удалил базу, прокси сам её автоматически создаст при старте.

Ога, а если есть необходимость уводить хотя-бы 5к хостов одновременно в «обслуживание» без сбора метрик (ну скажем график работы сайтов такой), а потом выводить из него, то _на сервере_ запустится прелестный однопоточный процесс zabbox_что-то там, который подвесит жизнедеетельность всего инстанса до завершения им выполнения пула (на графиках тем временем будут дыры и процессор будет биться в судорогах т.к. процесс схавает на 100% одно ядро). Обходится путём сбора метрик во время обслуживания, но тогда и экономии по месту никакой не выходит.

Подход к разработке всё-таки дюже странный у ребят. С одной стороны все таки производительные и экономные, но при этом часть функционала откровенной засыпной по этой части.

Они движутся в сторону никсов,да .Агенты могут исполнять питон и шелл, на сколько я помню. Под юникса не писал пакетов..

В общем понятно. У нас как раз разворачиваются параллельно zabbix - так как SCOM для юникса не совсем то.. и документации мало

а данные которые эта прокся насобирала но не успела отправить - надо похерить, да? А потом еще подождать, пока sqlite создаст базу без «pragma synchronus = off» минут с несколько, и дождаться пока прокся загрузит свою конфигурацию? нет уж, спасибо - я скриптиком проапгрейжу базу быстрее.

Ну если у тебя 100-150 тыщ серверов, то наверное под инфраструктуру мониторинга нужно выделять не один pentium 3 с hdd 40GB?

Под такое количество хостов надо будет поставить 100-150 прокси, которые будут хоть как-то распределять нагрузку.

Это получается, 1 мониторинговый на тысячу наблюдаемых. Прекрасный результат.

Минорненько

:) thumbs up!

Да, 2.2:) Я в разных проектах с ним работал, текущий некрупный совсем, так что можно любую версию, какая не создает проблем.:) Нагрузка у меня была на 1.8, где 1000 items/sec - это уже тяжко из-за узких мест.:)

100-150 тысяч - реальные цифры. правда в этом случае рекомендую их обучающие курсы.

не реальные

Наша контора им Zabbix прикручивала.

вы failover кому-нибудь делали?

Ну в 3.0 появилось много вкусного, потому переход на него имеет смысл, с другой стороны работает себе 2.2 и пусть работает, благо что LTS и поддержка еще есть.
Вот на 3.2 я не вижу смысла переходить, не только до выхода 3.2.1, но и в принципе. Новые инсталяции еще можно ставить на 3.2 будет, после выхода 3.2.1, а переводить что-то с LTS'а на промежуточные релизы смысла нет.

Для меня тогда переход с нагиоса на заббикс был просто словно из девятого круга ада Данте вознесся на небеса. С той поры благодарен Алексею за Zabbix и наслаждаюсь его удобством.

Не скрывайте, что вы — российский фашист(путинист), это понятно по высказыванию. Тогда вам не стоит пользоваться их софтом, пишите посконный и домотканный.

теперь понятно, зачем запрещают обсуждение нацпола, у стольких людей ад в головах :( фашист, путинист, либераст, рашка, гейропа, каждый кто употребляет данные слова выглядит просто отвратительно, язабан

да, это я глюканул под вечер похоже. не те цифры в голове застряли.

Интересно, кстати, как справляются в том же Badoo с патологическим стремлением Zabbix'а поглубже залезать в таблицы history, которые могут быть размером и 1.5Т, и 2, и 3...

Яндекс, например, 2-3 года назад пользовался заббиксом, не слишком активно, но пользовался. Сейчас не знаю. При этом они его очень активно дописывали для своих нужд, иначе он бы не справился с нагрузками и дополнительная автоматизация, конечно, была необходима. Но ни о каких десятках тысяч хостов в заббиксе там не шло речи. Для больших объемов хостов использовались другие системы и свои наработки.

Это все от размеров инсталяций зависит. С маленькими все понятно, а для больших новые фишки бывают особенно критичны, но апгрейд - настоящая сага.

Вот тегирование в 3.0 звучит как будто Zabbix еще немного повзрослел. Сам не работал, но взрослые и дорогие системы умеют просчитывать прогноз по корреляциям между разными событиями. Статистика там какая-то особая и особые «волшебные» алгоритмы. Тут нужна не линейные связи между событиями. Не просто «пинг пропал - до шлюза, сервер за ним тоже недоступен». Теги хотя бы позволяют вручную нелинейно связывать события. Т.е. Zabbix стал немного ближе к этим взрослым системам. Так что в моем случае перевести небольшую инсталяцию, пока она не выросла, на новую версию может даже иметь смысл.

на конференциях заббикса обычно делятся успехами. вот 2014 год, 14000 хостов:

http://www.slideshare.net/AlainGanuchaud/zabbix-conf-coreitv13

я думаю, можно нарастить еще. железки становятся мощнее, сам заббикс оптимизируют. а вот проблема с отказоустойчивой конфигурацией - это имхо основная головная боль.

Я в реальном мире(>1000 хостов, 10-20 секундных метрик) работающего заббикса не видел. Боль, тормоза, грусть админов. Первые признаки начинаются с 10секндного открытия недельного графика. База узкое его место, общается он с ней, по видимому, не очень здорово.

Мы сами некогда купились на маркетинг и перешли с нагиуса на заббикс. Зря. Он хорош, как система алертинга, но отвратителен как система хранения метрик(тут лучше кластер из графитов, которые собираются воедино на фронтенде из графаны - масштабируется легко и горизонтально).

В итоге мне не ясно, зачем он нужен. Любители мышки в малых инсталляциях - его амплуа.

В большом продакшене, на мой взгляд, связки collectd+graphite+nagios предпочтительнее.

P.S. Начиная с размера базы в 500 гигов встает колом при любой операции, бесконечное потребление cpu, фронтенд просто отваливается, все графики в дашбордах замирают. На сервере 48 ядер, база отдельно, ssd, куча zabbix-прокси отдельно. Ну и как тут говорили проблема с нестабильностью сети. Если у вас внезапно отвалилось 200-300 хостов, лучше сразу ребутать прокси и дропать очередь. Т.к. даже если прокси и вытянет, то zabbix-server точно умрет. Всё это наблюдалось и на второй ветке и на 3й(а мы резво обновляем заббикс в надежде на лучшее, но нет - по вопросам производительности и капли прогресса нет).

Вот прогнозирование еще не смотрел, у меня сейчас нет особой надобности в нем, но когда Алексей о нем рассказывал на митапе я очень заинтересовался.

Ну небольшую инсталяцию можно и попробовать перевести, поставить тестовый сервер, проверить обновление на нем, если все нормально, то перевести бой. Надо заметить, что агенты при этом можно обновить и потом, обратная совместимость у него есть, агенты могут быть хоть первой ветки, третья будет с ними нормально работать.

Я для тех кто не читает комментарии повторю: в Badoo больше 3k хостов, куча метрик, об этом подробно рассказывали на двух заббикс митапах в Москве, есть видео и презентации в сети. Есть Илья Аблеев в Телеграме в каналах посвященных Заббиксу, можете пойти и у него самого все спросить, а не писать про свои кривые руки.

Партиционирование решит все эти проблемы. Хотя, думаю, с такими цифрами и так должно хорошо работать с SSD. Что-то тут не так.

Большие инсталляции Zabbix начинаются от 5-10K проверок в секунду и растут до 100К на топовом железе. Среднюю производительность в 20-30К проверок в секунду можно получить на средних (но, не дешёвых) серверах на интеле: быстрый процессор, много памяти и быстрое хранилище.

Я в реальном мире(>1000 хостов, 10-20 секундных метрик)

сколько nvps? mysql/postgres? тут много от чего зависит. и от тюнинга, и от железа, как написали выше.

p.s. можете нанять меня в качестве консультанта:)

Алексей, хоть вы мне скажите, изменилось ли что-то за последние 2-3 года в плане настройки отказоустойчивых сетапов? Таких, чтобы сбор данных не прекращался при отказе одного zabbix-proxy/zabbix-server'a.

Алексей, это вы? :)
Когда ждать следующего митапа в Москве? А то я сейчас в другом городе, мне надо будет еще билеты покупать на поезд и приезжать.

Не решает партицирование этой проблемы. Я написал, что 10-20 метрик с хоста в секунду, т.е. 1000*15 ~15k проверок в секунду. Но у нас около 2k хостов и проверок без сбора данных тоже имеется достаточно.

Наше железо, полагаю, близко к топовому. Собственно он и у нас работает, просто храним историю всего 1 неделю.

Я написал, что 10-20 метрик с хоста в секунду

Так может заодно стоит написать сколько дисков у базы, сколько ram.:) Тип базы тоже.:) Вдруг raid 10, 4xssd, а ты тут заббикс грязью поливаешь.:) базу скорее всего тюнить надо. кроме того, по-моему можно поменять в zabbix proxy размер batch'a с инфой о хостах.

Мы весьма крупная IT компания, скажем так, количество наших пользователей, того же порядка, что и у badoo. И IT отдел у нас большой.

Я не видел презентацию от badoo, но слова «3k хостов и куча метрик» - это фигня. Bash скриптом могу собирать, наверное.

Наша специфика в том, что простой хотя бы одного приложения обходится дорого, по некоторым проверкам нам нужно реагировать менее чем за минуту. В итоге у нас(сейчас уже) самописаня система по анализу метрик с графита. На заббиксе сделать не смогли(там вообще не так-то просто сделать алерт, который анализирует N других графиков и в зависимости от своей мат. функции формирует предупреждение).

с докладами не выступали? что-то мне кажется, я кого-то уже слышал с графитом и заббиском.

На заббиксе сделать не смогли(там вообще не так-то просто сделать алерт, который анализирует N других графиков

это верно. поэтому я и надеюсь, что теги - шаг в нужном направлении.