Redis, etcd, consul

допустим у тебя на консуле только service discovery, а кэши на редисе. Почему так? А почему бы и не так?

Не оно?

http://permalink.gmane.org/gmane.comp.distributed.etcd/258

видел, но в третьей ветки добавили не только master-slave, но и multimaster и кластерный режим

ну вот сейчас у меня на консуле service discovery (и тот через третью софтину кстати) и dns, а к редису цепляется api гейт. Я вот думаю не выкинуть ли из этой связки консул и не писать ли напрямую в редис. DNS тут типа как костыль. Просто я хз как у редиса с репликацией по кластеру, вроде они в 3 ветке бьют себя пяткой в грудь что все збс, но что-то я хз

А, все, нашел я как у него с репликацией. Если одним словом, то криво

У редиса с кластером все збс, главное, чтобы 7 машинок было.

У редиса с кластером все збс, главное, чтобы 7 машинок было.

А если 4, а если 5, а если вообще 3? Не, 7 это перебор. Да цимес что нужна только мастер-мастер репликация, без слейвов

А если меньше, то плохо будет. Меиллист читал?

читал пачку срачей в которых никто так толком ничего и не объяснил. возможно мейллист среди них тоже попадался. если можешь - скинь плз линк

Ща не смогу точно никакого линка скинуть - в постеле уже. Но мне можно в жаббир(me@difrex.ru) написать, например, в понедельник.

Вот программисты у нас юзают 6+1. И никак иначе. Иначе, говорят, что ад и израиль, погибель, и.т.д.

Но у нас нет етцд, и.т.д., зато есть железки, чтобы пускать редисовый кластер...

хех, ну ладно, тогда видимо продолжу то что делал с консулом. я вообще тыкал два варианта api-манагера, один на редисе, второй на кассандре. Кассандра штука конечно железобетонная, она если поднимается, так ее хрен уронишь. Вот только она на старте выжрала всю память что была в виртуалке. А на редис 7 нод у меня точно не будет, от силы 6, а вообще 4.

А отучили жрать 2x памяти при сбросе данных на диск?

Вообще, в etcd смысла кмк нет вообще, консул дает те же фичи, только с нормальной регистрацией сервисов под sd. Ну а редис просто охренительно быстр.

А отучили жрать 2x памяти при сбросе данных на диск?

да хрен его знает. Но не думаю что он по поеданию памяти сравнится с кассандрой, она натурально сожрала все что дали. Хотя пачкой твиков удалось ее загнать в 512 метров, но что-то мне сцыкотно как она на них работать будет. Видимо будет консул плюс кастомный watch чтоб в редис писать.

Кстати, подправь коммент с которым вчера топик про свинок снес, все-таки уже как раз пятница и была ;) Против самого сноса возражений нет

Но не думаю что он по поеданию памяти сравнится с кассандрой, она натурально сожрала все что дали

В нем полностью безумный снапшоттинг:

Whenever Redis needs to dump the dataset to disk, this is what happens:

Redis forks. The child starts to write the dataset to a temporary RDB file. When the child is done writing the new RDB file, it replaces the old one. This method allows Redis to benefit from copy-on-write semantics.

как итог на 80-гиговом датасете нам нужно внезапно 160 гиг памяти на сервере.

Кстати, подправь коммент с которым вчера топик про свинок снес, все-таки уже как раз пятница и была ;)

а вдруг я над атлантикой был в момент удаления? :) Честно, мне лень. Давай договоримся, что там написано «оффтопик»? )

как итог на 80-гиговом датасете нам нужно внезапно 160 гиг памяти на сервере.

я такое про кассандру тоже читал. Чел какой-то спрашивал какого хрена у него 80 гиг мозгов вытекли в трубу на относительно мелком датасете. Хотя как я ее сегодня пустил - аж прям офигел. Виртуалка с гигом мозгов, etcd - полет нормальный, консул - тоже, редис - пучком, кассандра подвесила даже хост, не говоря уж про вм.

Давай договоримся, что там написано «оффтопик»?

тег «толстота» не просто так стоял :)

редис нмв на голову выше всех этих хиптоподелок но не умел мастер-мастер репликацию если у тебя две-три машины, ну и у него был свой протокол а не это http-like в итоге каждый напилил своего.

Из консула и etcd - etcd адекватнее, т.к. там ttl нормально ставится, можно кое как работать с директориями и cas удобнее

В нем полностью безумный снапшоттинг:

Whenever Redis needs to dump the dataset to disk, this is what happens:
Redis forks. The child starts to write the dataset to a temporary RDB file. When the child is done writing the new RDB file, it replaces the old one. This method allows Redis to benefit from copy-on-write semantics.

как итог на 80-гиговом датасете нам нужно внезапно 160 гиг памяти на сервере.

будет нужно только если датасет полностью поменяется во время дампа. Или если memory_overcommit отключен.