grep "^[0-9]\{7\}.*\(1\)" filename

По идее еще $ в конец нужно добавить, но у меня с ним не работает если поставить его без .* - так делать не следует, но разбираться не охота. Буду рад если кто пояснит.

capture не там, поэтому в \1 была только первая цифра:

grep '^\([0-9]\{7\}\).*\1$' filename

Да, я сейчас поразмыслил и уже хотел писать опровержение - мой «код» не корректен. Спасибо!!

Если файлов очень и очень много, то никак не ускорить поиск?

Если использовать grep, то, наверное, нет. Может если попробовать что-то другое (awk, например), то будет быстрее, но не факт что ручные манипуляции окажутся быстрее регулярного выражения.

Спасибо за ответы, еще вопрос: после того как я нахожу строки я передаю их по конвейеру в следующую команду, но пока grep не завершится строка не переходит дальше. Как-то можно это обойти или нет?

Оно не обязательно до завершения команды, может и до завершения места в буфере. При перенаправлении тип буферизации уже не построчный, а поблочный. stdbuf, вроде, помогает (хотя какая-то другая команда ещё была):

... | stdbuf -o L grep ... |

Вариант на awk, вдруг и правда быстрее будет:

awk 'length() >= 14 &&substr($0, 0, 7) == substr($0, length() - 6)'

Regexp, наверное.

Пиши на ассемблере, сынок.

пока grep не завершится строка не переходит дальше. Как-то можно это обойти или нет?

Попробуй grep --line-buffered

млжядь,

и чем только люди не занимаются, только чтоб не редактировать /rc.local, млжядь!