[perl][bash] передача аргументов

Феерично: забирать html перлом, а парсить bash'em

Согласен, но мне было проще парсить html используя grep и sed. Если нельзя сделать так, как хочу, то, видимо, надо будет парсить все на перле

Сразу так и делай

для перевода sed и awk на перл по-быстрому можно использовать a2p, s2p

А grep?

Что-то s2p простенькую строчку на sed перевел в 121 строку жуткого perl кода...

system('parse.sh «$content»')

Ээ... А должно? Если я не ошибаюсь, этот код вызывает шелл и говорит: обработай с помощью parse.sh переменную _шелла_ $content, а не твой $content. Каким образом оно интерполируется в одинарных кавычках-то?

Если непременно хочется именно так, то:

system «parse.sh», $content;

Это передаст $content (твой $content из твоего перловского кода) parse.sh в качестве аргумента, строкой.

Правда, тут есть некоторый риск: если в $content затесается какой-нибудь & rm -rf /, то будет ой.

Скачай бесплатно без смс книжку с ламой и почитай гл. 16

А каков сакральный смысл этих манипуляций? Надо что-то выкусить из определённых тегов или что? Может библиотека на CPAN есть для этого?

Там проблема в том, что код страницы кривой и нормально пробежаться по тегам и найти то, что надо - не получится.

Я так понимаю, что не работает из-за того, что встречаются левые символы. Какие символы нужно escape'ить в echo?

Странно использовать grep, sed и.т.п. когда все равно используешь perl ;)

Если конечно очень надо, то вот решение твоей проблемы:

use IPC::Open2;
open2($out, $in, 'superscript.sh');

Ну и как всегда в перле, есть еще куча других способов сделать это, например - IPC::Filter, но я все таки настоятельно рекомендую парсить все прямо в перле.

P.S. И конечно в общем случае парсинг html(xhtml) регэкспами это зло, лучше для этого использовать специализированные html(xml) парсеры, metacpan.org в помощь.

http://search.cpan.org/~gaas/HTML-Parser-3.69/Parser.pm

Разработчики утверждают, что умеренно кривой HTML этот модуль может распарсить. Вопрос - насколько кривой данный конкретный HTML.

Я им не пользовался, но например XML::Parser мне прочитал «битый» XML (довольно значительную часть), когда я его вызвал с опцией «игнорировать ошибки».

Я так понимаю, что

system('parse.sh "$content"');

не должен работать, потому что parse.sh получает в качестве аргумента не переменную $content, а буквально строку «$content», потому что >'parse.sh «Scontent»'< одинарные кавычки же.

По идее

system "parse.sh", $content;

должен работать, хотя так делать - плохая практика, и кстати да, правильно bjorn говорит - есть, помимо прочего, специальные библиотеки и для вызова сторонних приложений.

Что-то не работает у меня это, возвращает GLOB'ы.
Эх, видимо, надо все-таки прямо на Перле парсить html

open2 и open3 это стандартные функции perl'a, так что я не сказал бы что это «специальная» библиотека ;) Хотя конечно, то что они лежат в отдельном пакете, позволяет их так называть.

Что конкретно тебе возвращает GLOB'ы? Давай код - поможем.

$content = $mech->content();
open2($out, $content, 'parse.sh');

Скрипт parse.sh всегда возвращает 1 строку. Как теперь ее получить? print «$out\n»; глобы и возвращает.

Виноват, невнимательно прочитал. Увидел use, дальше не стал смотреть.

Но я имел в виду ещё всякие Devel::System, Exception::System и прочие.

> В программе на Perl забирается html-код страницы
> bash-скрипт […] парсит html-файл

о___О

давай сюда свой parse.sh…

Что-то вроде такого (здесь читает из файла - cat, а хотелось бы передавать весь код из перла в качестве аргумента, правда там, видимо, надо будет экранировать символы):

echo -n `cat $1 | grep -v "title" | grep -A1 "Name" | tail -1 | sed 's/.*<b>//' | sed 's/<\/b>.*//'`;

проверь на своей страничке:

#!/usr/bin/perl

use strict;

sub find_name {
    local $_;
    while ($_ = shift) {
        next if /title/;
        last if /Name/;
    }
    $_ = shift or return undef;
    s:.*<b>::;
    s:</b>.*::;
    return $_;
}

open my $fh, '<', 'test.html' or die $!;

my $name = find_name <$fh>;

print "Name: $name\n";

Ухты, работает!
Как сделать так для остальных команд?

каких остальных команд? о_О

Ну эта команда была не единственная. Там еще несколько примерно таких же. Как сделать их? Например, как заменить grep -A3 или grep -B3 ?

И, опять же, там читается из файла. А как читать из переменной?

> Например, как заменить grep -A3 или grep -B3 ?

допустим, есть массив строк:

my @lines;

получаешь номера строк, удовлетворяющих регекспу:

my @match = grep { $lines[$_] =~ /regexp/ } 0..$#lines;
my $i = $match[0]; # первое совпадение

дальше:

print $lines[$i-2];   # на три строчки назад до совпадения
print $lines[$i+2];   # третья строчка после совпадения
print @lines[$i-2..$i]; # две строчки до совпадения + совпадение
print @lines[$i..$i+2]; # совпадение + ещё две строчки

ну, суть ты уловил, надеюсь :)

ну и по такой схеме предыдущий код можно написать так:

#!/usr/bin/perl

use strict;

open my $fh, '<', 'test.html' or die $!;
my @lines = grep { !/title/ } <$fh>;
my ($i) = grep { $lines[$_] =~ /Name/ } 0..$#lines;
local $_ = $lines[$i+1];
print "Name: $1\n" if m:<b>(.*?)</b>:;

> И, опять же, там читается из файла. А как читать из переменной?

my $name = find_name split /\n/, $peremennaya;

;)

А может, сделать next'ов для всех слов, которые он ищет, и упаковать результаты поиска в хэш, а потом оттуда достать, отформатировать и вывести?

А может запихать все в одну строку и раскопать многострочными регэкспами? Чем-то таким для примера ТС.

unless ( /title/ ){
    if (m{Name.*\n(?<match1>.*)}m){
        $+{match1} =~ m{<b>(?<found>.*)</b>};
        say $+{match1}, $+{found};
        }
}

Ай! Не бейте ногами, я только начал в нем ковыряться.

Что-то не работает чтение из переменной, а не файла. Выводит теперь: <style type=«text/css»>

значит, перед этой строкой была строка с текстом «Name»…

ну да, ты же последнее совпадение искал… тогда так:

sub find_name {
    local $_;
    my $t;
    while ($_ = shift) {
        next if /title/;
        $t = $_ = shift and redo if /Name/;
    }
    $t =~ s:.*<b>::;
    $t =~ s:</b>.*::;
    return $t;
}

ну или так:

#!/usr/bin/perl

use strict;

open my $fh, '<', 'test.html' or die $!;
local $/;
my $body = <$fh>;

my @lines = grep { !/title/ } split /\n/, $body;
my @i = grep { $lines[$_] =~ /Name/ } 0..$#lines;
print "Name: $1\n" if $lines[$i[-1]+1] =~ m:<b>(.*?)</b>:;

Что-то s2p простенькую строчку на sed перевел в 121 строку жуткого perl кода...

покажи эту строчку на sed

Я уж и не помню какую брал. Что-то вроде:

sed 's/.*<b>//'

А что надо вообще-то?

Я практикуюсь сейчас делать всякую фигню на Perl, могу в качестве упражнения сделать твой скрипт.

Ну тут 2 варианта:
1. Сделать так, чтобы можно было передавать html-код страницы(там он идет в bash'евское echo, а там мешают многие символы - видимо, надо экранировать) в качестве аргумента скрипту, выполняемому через system();.
2. Кучу команд, состоящих из grep'ов, sed'ов, head'ов и tail'ов перевести на Перл

Печатать перлом на stdout, читать bash-ем с stdin? А вообще тут правильно сказали, лучше уж парсить сразу перлом.

А можно простенький примерчик?

Фактически, вся задача сводится к следующему: передать html-код страницы в bash-скрипт из перловского скрипта и получить результат.

Хм.

1 - а попробуй Here Documents 2 - Большая ли куча?

Вообще говоря, скинь мне на почту пару подопытных страниц с указанием, что из них выцепить (не регэкспы, а можно даже тупо картинку).

Эта задача хорошо ложится на упражнения, которые мне всё равно надо делать, так что если у меня получится её решить, то мне это будет полезно, а тебе в таком случае достанется скрипт.

Если же не получится, то придётся мне сидеть в уголке и плакать.

Почта в профайле, заниматься буду после десяти по Москве.

А там проблема даже не в перле, а в bash'евском echo. Там надо экранировать кучу символов.

А еще такой вопрос:
допустим, для ускорения я сделаю N скриптов, каждый будет забирать свою часть страниц. Если я в Перловском скрипте вызываю bash-скрипт system('parse.sh «resultN.html» >> result '), и запущу сразу все N скриптов, то смогут ли они писать в файл result одновременно? Или разделить по файлам?

1) Аааааа, тебе надо через аргумент, я то думал на STDIN надо кидать, через аргумент можно так:

my $res;
open OUT, '-|', './test.sh', $arg;
{
        local $/;
        $res = <OUT>;
}
print $res, "\n";

Вообще говоря смогут, если flock не ставить. НО ЭТО АД! ;) Не делай так пожалуйста, скажи конкретно что тебе надо, а то какой то цирковой набор костылей получается для явно тривиальной задачи.

Я и не стал так делать, я просто N скриптов запускаю, каждый пишет в свой файл.

Запустил 10 экземпляров скрипта. Посмотрел - где-то, видимо, утечка памяти. Все спарсить не успеют - память кончится. Помогите найти утечку. Код выглядит как-то так:

for ($page = 1; $page <= 14770; $page++) {
        undef($url);
        undef($stream);
        $url = "https://...$page";
        $mech->get($url);
        $mech->form_name("auth_form");
        $mech->set_fields(Email => $EMAIL, Passwd => $PASSWD);
        $mech->click();
        $mech->get($url);
        $stream = HTML::TokeParser->new(\$mech->{content}) || die "Can't open: $!";

        undef(@hrefs);
        # get all hrefs
        while (my $token = $stream->get_tag("a")) {
                if ($token->[1]{id} eq 'ahref') {
                        push(@hrefs, $token->[1]{href});
                }
        }
        foreach (@hrefs) {
                $mech->get($_);
                $content = $mech->content;
                open my $fh, '>:utf8', "result.html" or die "$file: $!";
                print $fh $content;
                system('./parse.sh "result.html" >> result');
                close($fh);
                undef($content);
        }
}

Пробовал делать system('parse.sh «$content»');,

а с чего ты вообще взял, что у тебя содержимое $content передастся в $1 ? Собственно передастся как раз строка «$content», а не содержимое этой переменной.

а вообще делай открывай пайп на 'bash parse.sh' (без аргументов) и пиши в него все, что надо распарсить.

и поменяй cat $1 на cat «$@» хотя бы.

Едрен батон, что это? ;) Зачем все эти undef? У тебя в перле my выпилили? Почему у тебя файл закрывается после system? Сколько вообще этих hrefs? Каждый system делат форк, так что может у тебя .sh скрипты текут или их слишком много, посмотри htop'om дерево процессов.

undef уже от безысходности навставлял)

А что делать с форками от ssytem'а?