Скормить содержимое пайпа как параметр

xargs

Или wget -i-.

Или я вообще идиот и wget умеет из файла ссылки брать?

Вообще да, с помощью того же ключа -i.

wget `my_script`

Годится, спасибо. Ещё хочу диапазон входных строк задавать (типа limit в SQL), а то картинок дофига, я их в несколько заходов качать буду.

Это обратные кавычки, которые на одной клавише с тильдой.

Я похож на полного нуба?

//Ой, а ведь да.

Или wget $(my_script).

head, tail, awk, sed.

в bash можно wget $(command|sec_command|...)
А вообще wget умеет пайп

split -l же

парсить HTML регулярками

Сразу вспомнил эпичный тред на stackoverflow.

Пилю скриптец для сграбливания картинок из галереи сайта на MediaWiki. Копирую нужный кусок исходников галереи (там тупо имя с пробелами и расширением) в текстовик. Потом пропускаю через пайп, конвертируя текст в ссылку. Ссылки выходят из пайпа, только как их wget-у скормить?

ты текстовый файл распарси sed'ом, а потом уже получившийся список со ссылками скорми wget'у. Пайпы тут не нужны.

Чем парсить HTML?

если только ссылки выдрать — sed.

Если там сложная структура, то sed не очень удобен. В твоём случае специальный парсер нафиг не нужен.

Парсер мне всё равно понадобится для более сложной штуки. Это как раз хорошая возможность его осилить и обкатать.

ну тогда возьми парсер. Какой? Откуда я знаю, что такое «сложная штука»?

lynx -image_links -dump -listonly -nonumbers $url >links.txt

Как это мне поможет, если прямые ссылки только на отдельных страницах?

да, похоже никак

#!/bin/bash

function filterurl() {
  grep "blog/2013/05" |
  fgrep -vf "$1"
}
function filterimg() {
  grep "jpg$" |
  fgrep -vf "$1"
}

rm -f list.*
touch list.full list.img
echo "http://wikimedia.ru/blog/categories/releases/" >list.txt
while [ -f list.txt ]; do
  mv list.txt list.tmp
  cat list.tmp |
  while read url; do
    echo ">>>$url"
    echo "$url" >>list.full
    lynx -image_links -dump -listonly -nonumbers $url | sort -u >page.log
    cat page.log | filterurl list.full >>list.txt
    cat page.log | filterimg list.img | tee -a list.img
  done
done

lynx -image_links -dump -listonly -nonumbers 'http://wikimedia.ru/blog/categories/releases/' \
    | grep '/commons/thumb/' \
    | sed 's!thumb/!!;s!/[^/]*$!!' \
    | wget -i-

, не?

Может быть, поможет. Я библиотеку ИФРАН так тянул:

RAS="http://iph.ras.ru/elib/monogr.html"
wget $RAS -qO - | grep -o '\.\./uplfile/.*\.pdf' | wget -B $RAS -nc -i -

Затем переопределял $RAS и тянул другой раздел. Парсить урлы довольно удобно по grep -o.

Если не хочешь уходить из bash в perl, посмотри xmlstarlet.

Он же только для XHTML подходит.