История изменений

да, оно примерно такое простое, но (если не ошибаюсь) сделал ты неправильно — на файлах нужно *висеть*, т.е. закрываются они только после конца STDIN (смотри как в моем коде)

т.е. мы допустим запускаем:

( generate_urls | xcmp a.txt b.txt | download_urls) &

и *параллельно* этому файлы a.txt и b.txt растут, их аппендит скрипт download_urls, в этом смысл

echo foo.example.com >> a.txt
echo bar.example.com >> b.txt

счетчики непонятно зачем — достаточно бинарной логики 0 и 1 (но вообще-то вместо счетчика может быть дата последнего обновления, но не буду запутывать дальше)

но это мелочи; главное — неужели никто такого не написал?

да, оно примерно такое простое, но (если не ошибаюсь) сделал ты неправильно — на файлах нужно *висеть*, т.е. закрываются они только после конца STDIN (смотри как в моем коде)

т.е. мы допустим запускаем:

( generate_urls | xcmp a.txt b.txt | download_urls) &

и *параллельно* этому файлы a.txt и b.txt растут, их аппендит скрипт download_urls, в этом смысл

echo foo.example.com >> a.txt
echo bar.example.com >> b.txt

счетчики непонятно зачем — достаточно бинарной логики 0 и 1 (но вообще-то вместо счетчика может быть дата последнего обновления, и не `$counter{$key}++`, a `$counter{$key} = max($counter{$key}, $new_counter)` и можно все же запускать процесс, когда дата последнего обновления слишком древняя и т.п, но это мелочи; главное — неужели никто такого не написал?