php-многопоточность

Почему не запускать по 1 копии скрипта на каждого пользователя? У тебя же там не демон будет, а вызвал -> получил-отдал ответ -> умер.

Запускаешь новый процесс интерпретатора через exec(), оттуда же получаешь его PID, пишешь в базу например. Пользак «пингует» окончание работы процесса (привязан по пиду), если процесс завершился то PID'а по ps не будет, значит задача сделана.

Че ты придумываешь тут? делаешь очередь задач, травишь на нее воркеров и все.

Может кто подскажет куда копать?

Про очередь верно сказано.

одни потоки будут удалятся, другие наоборот добавляться

Потоки тут не нужны.

Очередь в redis/postgresql.

event_reactor подписан на события очереди и выбирает next_job, затем отправляет http-запрос в пул воркеров.

Пул воркеров может быть любым prefork-server. Это Apache с CGI/FastCGI или любое другое решение.

Весь жизненный цикл обработки данных это некая сессия, имеющая sid (session id). Любой шаг сессии отдельный запрос к пулу воркеров.

выбирает next_job, затем отправляет http-запрос в пул воркеров.

http-запрос асинхронный, разумеется. Воркеров стоит писать в аналогичном стиле, как можно меньше блокирующих операций.

Сталкивался с подобной проблемой. С курлом это вроде нельзя сделать. Сделал отправку запросов через неблокирующие соккеты. И зря :) потратил кучу времени, проще запустить несколько процессов, если нужно побыстрее, и тянуть задачи из пула задач. Если, конечно, количество запросов, которые нужно выполнять одновременно, не исчисляется сотнями :)

Спасибо за ответ! Я правильно понял, что я храню задачи в БД, далее скрипт периодически дергает БД, запрашивает оттуда все активные задачи и порождает столько потоков, сколько нужно? Далее, если задача выполнена, то запись удаляется из БД или делается неактивной?

Т.е. скрипт юзера пишет в БД задачу, а есть глобальный скрипт, который выполняет все задачи разом?

Если так, тогда вопросы: Получается, что наш глобальный скрипт должен периодически дергаться, например, раз в 10 секунд? Т.е. подвешиваешь его на cron, например? Или же тут другая схема реализации?

далее скрипт периодически дергает БД

База данных дает нам API для publish/subscribe. Мы подписываемся на уведомления, используя этот API. Пусть это будет mailbox, в который надо часто заглядывать.

запрашивает оттуда все активные задачи

Зависит от потребностей и API очереди. Это могут быть полные описания задачи, или просто id по которому можно достать описание из БД, или сигнал что пора вынуть из БД все новые задачи.

и порождает столько потоков, сколько нужно?

Нет. Потоки он не порождает. Он посылает неблокирующие запросы в пул воркеров. Можно контролировать количество отправленных запросов, а можно забить. Численность самих воркеров тоже можно менять самостоятельно или забить на это. Как реализован пул воркеров, нам знать не обязательно, это могут быть потоки или процессы (мне пока хватает prefork-сервера, который обрабатывает http-запросы).

наш глобальный скрипт должен периодически дергаться, например, раз в 10 секунд?

Event reactor это демон, который стартует один раз и подписывается на события проиходящие в очереди. Насколько часто опрашивать mail box, зависит от задачи, можно начать с 100 запросов в секунду.