параллельные процессы bash

&

Почитай это: Библиотека для параллельного запуска участков BASH-кода. В простом случае тебе поможет &, уже опередили.

а как указать что,бы он использовал максимальное количество процессоров?

xargs бы посоветовал, опция -P, но передача строки будет не в stdin или из файла, а как параметр.

Количество процессоров можно узнать у неё:

nproc

Прошу прощение за наглость, но вот у меня например есть мой bash скрипт

cat file.txt | while read var1 do echo var1>>log.txt done

Как мне это распаралелить?

>>log.txt, нужно сохранять порядок выполнения?

было бы замечательно, но для начала хотя бы без порядка

cat file.txt | xargs -L1 -P2 bash script.sh >> log.txt

каждая строчка которая будет в file.txt будет передана как аргумент.
-L1 кол-во строк на аргумент.

Напоминаю, что xargs чревато race condition. Если оно мешает, то надо юзать parallel или воротить из & and wait.

Не подскажите как это можно сотворить?

Анонимус опередил. Суть в том, что command & отдает пид команды которая запускается в фоне. wait умеет ждать по заданному пиду. Т.е. необходимые фишки есть, дальше как в любом нормальном языке с многопоточностью.

Про parallel кури man parallel. Да и примеров в гугле полно. Максимум простой пример, который построчно запускается в parallel:

$ echo -e "sleep 1 && echo '1';\nsleep 3 && echo '3';\nsleep 2 && echo '2';"  | parallel 
1
2
3

поясните плз строчки ./test.sh >$n & и wait -n 1

• ./test.sh - полезная нагрузка
• >$n - перенаправление процесса №n в файл №n.
• wait -n 1 - подождать завершения одного дочернего процесса

& - запустить дочерний процесс

т.е все что считывается записывается в какие-то переменные и по завершению всего считывания склеивается и направляется в результирующий файл? а если у меня будут очень большие объемы файла, то все они будут хранится в оперативной памяти?

и ./test.sh - это мой скрипт в котором мои действия?

а если у меня будут очень большие объемы файла, то все они будут хранится в оперативной памяти?

нет, будут храниться в отдельных временных файлах. а уже они будут удаляться по мере перехода их данных в результирующий файл. Конечный размер дискового пространства для данной операции: сумма всех данных + размер результата самой большой (по данным) операции.

да

если у меня 2 процесса, то я могу делать только 2 потока?

колличества ядер никак не влияет? и другие параметры системы

и просто wait ждет завершения всех процессов или как?

можешь 22 сделать:

k=$(($(nproc)*11))

просто wait, да, завершения всех дочерних процессов

могу и 100 поставить) но как определяется это максимальное значение которое я могу определить?

тестами

Пока машина не загнется. Запускаются обычные процессы, без каких-либо дополнительных ограничений. Там уже сам смотри сколько твоя машина потянет и какие глобальные лимиты стоят.

Хрена тут у вас, анонимус на анонимусе.

тебе нужно — что:

1. чтобы ресурсы процессора не проиставали бы?

или

2. чтобы побыстрее работа выполнялась бы?

---

в случае {1} — ну придумай как загрузить процессор.. cat /dev/zero >/dev/null & cat /dev/zero >/dev/null & cat /dev/zero >/dev/null & и всё такое :) .. дело не хитрое!

в случае {2} — лучще используй вместо bash — нормальный язык программирования.

тем более считывать строку из файла и что-то-с-ней-делать — это явно не уровень Баша. тут нужен более тонкий хирургический инструмент.

погляди например на python и его модуль multiprocessing

Ну а как именно на баше сделать с наивысшей скоростью? как программно узнать оптимальное количество параллельно запущенных программ

зависит от критерия определения качества оптимальное

ну чтоб быстрее выполнилась программа

ага, тогда прости что влез, ответ тот же, тесты.