История изменений

Лучше посоветуйте, как сделать чтоб parallel сожрал список в 100млн строк хотя бы и не умер. Или чем его заменить, а то он tmpdir хочет для пустых временных файлов зачем-то и --compress ещё, но все равно валится. xargs не подходит (или я неправильно его юзаю, выше в треде писал про костыли).

Короче, как можно распараллелить однострочник на n потоков, если на входе (возьмём задачу как у автора треда) этих урлов очень много?

Оно сейчас работает через

cat urls | parallel -j 100500 ./go.sh

Лучше посоветуйте, как сделать чтоб parallel сожрал список в 100млн строк хотя бы и не умер. Или чем его заменить, а то он tmpdir хочет для пустых временных файлов зачем-то и --compress ещё, но все равно валится. xargs не подходит (или я неправильно его юзаю, выше в треде писал про костыли).

Короче, как можно распараллелить однострочник на n потоков, если на входе (возьмём задачу как у автора треда) этих урлов очень много?

Лучше посоветуйте, как сделать чтоб parallel сожрал список в 100млн строк хотя бы и не умер.