big lock

RabbitMQ

а оно агрегировать умеет? типа count?

как бы вы боролись с big lock в этой задаче?

Я бы упростил задачу так, чтобы централизованный счётчик не требовался.

Я бы упростил задачу так, чтобы централизованный счётчик не требовался.

Я бы то-же, но в данном случае это исключено

А можешь детально описать всю задачу целиком? Может коллективный разум ЛОРа что-нибудь подскажет.

«каждому fastcgi приложению нужно не просто обработать запрос, но и посчитать что это был скажем 10 миллиардный запрос.»

не совсем корректно я написал: имеется ввиду что стороннему приложению требуется знать сколько уже запросов было через fastcgi

count в стороннем воркере

его можно сливать в memcached отложено, допустим раз в минуту, внезапно, кол-во запросов станет равным количеству потоков на всех машинах.

его можно сливать в memcached отложено, допустим раз в минуту, внезапно, кол-во запросов станет равным количеству потоков на всех машинах.

А в какую очередь это класть перед тем как сливать? Блокировка самого fastcgi в ожидании конечно не вариант

не надо никуда класть, сам поток fcgi может хранить, ониж не дохнут по окончании запроса. Пусть поток сливает раз в минуту, или если ему конец пришел.

А можешь детально описать всю задачу целиком? Может коллективный разум ЛОРа что-нибудь подскажет.

Да вроде достаточно детально. Зачем нужен именно глобальный счетчик сказать не могу - секрет. Но обычно я то-же стараюсь переформулировать задачи таким образом чтобы от такого вообще уходить. Это не тот случай.

не совсем корректно я написал: имеется ввиду что стороннему приложению требуется знать сколько уже запросов было через fastcgi

Тогда пусть у каждого воркера будет свой счётчик, значение которого периодически отправляется на один или несколько сервисов сбора данных, а затем обнуляется.

Сервисы сбора данных могут либо складывать эти значения в лог, либо суммировать сразу.

Стороннее приложение может запрашивать значение у одного или нескольких сервисов сбора данных и выбирать то значение, которое кажется более реалистичным.

При таком подходе можно регулировать баланс между производительностью и точностью результата. Абсолютно точный результат без глобальной блокировки не получить ИМХО.

не надо никуда класть, сам поток fcgi может хранить, ониж не дохнут по окончании запроса. Пусть поток сливает раз в минуту, или если ему конец пришел.

Да действительно. Во я туплю. У меня подобное решение уже реализовано в разных проектах. Вообщем задача сводится к разложению big lock на lock fastcgi потока. Спасибо!

Тогда пусть у каждого воркера будет свой счётчик, значение которого периодически отправляется на один или несколько сервисов сбора данных, а затем обнуляется.

Да спасибо, что-то я затупил!