BASH oчень долго выполняется цикл for

https://www.linux.org.ru/help/markdown.md

Не надо считывать файл в переменную Lines

надо:

while read Line; do
...
done < FLY.txt

Я не буду говорить о том что можно было исп. sed вместо этого bash-цикла

Lines=$(cat $File)

Зло 1

Sr=`expr substr $Line 3 1`

Зло 2

Переписать на awk. Типа

awk '{if(match($0,"([0-9]{2}:[0-9]{2}:[0-9]{2})",a)) t=a[0]; else print t,$0;}'

А почему не просто:

cat file | while read STR ; do
...
done

Зачем ты файл в начале в массив строк считываешь?

Это не массив

В его случае в цикле ФОР вся эта мега-строка побьётся по пробелам.

Так что ТС врёт о работе этого скрипта

`expr substr $Line 3 1`

Если у тебя bash (а не какой-то sh), лучше использовать встроенные методы: ${Line:3:1}

Вместо одинарных скобок - двойные: if [[ "$Sr" == "$a" ]]

Вроде этого будет достаточно, чтобы не плодить процессы в цикле (а причина такой медленности - в этом).

sed -e 's/\(^..:.*\)/Time:\t\1/' /home/user/Desktop/FLY.txt >FLY_fin.txt

выражение для поиска строк со временем можно и улучшить, но вроде и не требуется…

Это не массив

Странно, а работа идёт как с массивом.

Lines=$(cat $File)
a=":"
for Line in $Lines
...

В его случае в цикле ФОР вся эта мега-строка побьётся по пробелам, без разницы как он там дальше делает.

Он в начале большой файл считывает.

Всем спасибо! Проблема решена, переписал так

while read -r Line
do
a=":"
 if [[ "${Line:2:1}" == "$a" ]] 
then
    Time=$Line
    else
       echo -e "$Time\t$Line" 
    fi  
done    <FLYtest.txt

По итогу время выполнения сократилось до 8мин.

Пайп в while read не даёт установить переменные за пределами цикла. Нужно либо while ... done<file, либо for, который может нагадить в зависимости от контента файла.

Ну и да, IFS. По умолчанию IFS пуст, а значит "строка" в данном случае будет словом до первого пробела/таба/ньюлайна.

Перепишешь на си - сократится до меньше минуты, может быть даже до нескольких секунд.

[i]Существует файл в котором более 8млн строк[/i] Думаю в этом проблема. есть такая штука называется «база данных» погугли. Велосипед уже изобрели.

Ну и да, IFS. По умолчанию IFS пуст, а значит «строка» в данном случае будет словом до первого пробела/таба/ньюлайна.

Строка будет полной строкой из входного файла.

Не надо считывать файл в переменную Lines

Я об этом сразу написал

не даёт установить переменные за пределами цикла

Ну правильнее - прочитать. Впрочем, ваш оппонент всё равно ничего не понял :)

По умолчанию IFS пуст

Нет, конечно.

printf "%q\n" "$IFS"
$' \t\n'

в данном случае будет словом до первого пробела/таба/ньюлайн

Нет, конечно, строка в последнюю перменную/единственную считывается до -d символ_конца_строки, который по умолчанию \n.

Я учёл многие ваши комментарии, поэтому и написал всем спасибо)

не даёт установить переменные за пределами цикла

Ну правильнее - прочитать.

И прочитать тоже, но не все. Экспортированные таки даёт.

По умолчанию IFS пуст

Нет, конечно.

unset IFS даёт тот же результат.

Нет, конечно, строка в последнюю перменную/единственную считывается до -d символ_конца_строки, который по умолчанию \n.

Это какой-то фбашизм…

Экспортированные таки даёт.

Нет конечно, в новом процессе пайпа и неэкспортированые также передаются в шел, экспорт влияет только для внешних команд к шелу. А вот прочитать изменение переменных после завершения суброцесса также невозможно и экспорт ничем не поможет.

unset IFS даёт тот же результат.

Нет конечно. Результат разный и описан в документации. Да, там много схожего, но так всегда, когда есть разные способы, то и отличия должны быть, хоть и минимальные, иначе для чего тогда вообще делать разное.

Это какой-то фбашизм…

Вот всё так у вас. Знаний не хватает, чтобы спорить, говорите чушь.