История изменений
Исправление lu4nik, (текущая версия) :
Как мне кажется, проще всего создать одну очередь (multiprocessing.Queue), в которую процесс-диспетчер будет сбрасывать урлы, которые будут разбираться по мере поступления воркерами. Сигнал на выключение можно подать через ту же очередь. Почитай про пайпы и очереди на странице модуля multiprocessing.
UPD: Если надо в обратную сторону (от воркеров к диспетчеру) передавать данные, то наверн это +1 очередь.
Исходная версия lu4nik, :
Как мне кажется, проще всего создать одну очередь (multiprocessing.Queue), в которую процесс-диспетчер будет сбрасывать урлы, которые будут разбираться по мере поступления воркерами. Сигнал на выключение можно подать через ту же очередь. Почитай про пайпы и очереди на странице модуля multiprocessing.