Парсинг url

Что тебе из этого «кода» нужно выделить? /images/01020401-00185.png ?

да (для частных случаев еще текст после br, но таких случаев очень не много)

Попробуй Offline Explorer Enterprise :3

дв ты шутник я смотрю. Меня пугают как минимум 2 слова : Explorer и Enterprise.

Если структура сложная, возьми какой-то xpath-парсер и достань по xpath, а если простая, то грепни и дело с концом. Если набежит Kalashnikov со сслыкой на SO и криками «кто парсит xml рекэкспами - тот лох!», забей.

без шуток, это лучший скачиватель сайтов. Но платный, проприетарный и для венды, под wine не проверял.

я думаю структура будет посильна grep, вот только не нашел способа как грепнуть исходник, не сохраняя при html-й файл (тонкий намек на wget)

когда мне нужно скачать сайт, я пользуюсь wget. Бесплатно, свободно, и под онтопик. А ты мне тут про какие-то эксплореры..

Я не совсем понял задачу, но следующая регулярка должна помочь:

^([a-z][a-z0-9+\-.]*:(//[^/?#]+)?)?([a-z0-9\-._~%!$&’()*+,;=:@/]*)

Если набежит Kalashnikov со сслыкой на SO и криками «кто парсит xml рекэкспами - тот лох!», забей

Кто парсит HTML регэкспами, когда есть вещи типа

http://htmlcleaner.sourceforge.net/

или

http://jsoup.org/

тот действительно эпический лох. Ему даже собственная секретарша не даст.

http://jsoup.org/

вот чего я меньше всего хочу, так писать программку на java для такой рутинной и одноразовой работы с блекджеком и интерфейсом. Надеюсь обойтись одним башем.

Ради интереса: что он умеет такого, чего не может wget?

держи меня в курсеее

наверно, html5, js и прочий флеш

У тебя же есть файл с этой лабудой? Ты его уже сохранил? Или это страница где-то онлайн? Дай ссылку, я тебе xpath подскажу, а ты потом в хроме из консоли получишь список.

grep и регулярка?

ну, например, стягивать «картинки, защищенные js'ом», отправлять html-формы с разными параметрами (типа страниц с пагинатором в виде выпадающего списка), итп (при этом чтобы он не наотправлял лишнего, н-р не нажал кнопку «удалить мою учетку» там есть регулируемые исключения). Сохраненный JS и прочее говно он тоже переписывает, чтобы обращался только к локалхосту. Т.е. в результате получается статическая копия динамического сайта.

держи меня в курсеее

вначале попробуй удержать на коленях хоть одну секретаршу

Правильно, потому что программа на Java потребует компиляции, jar файлов и т.д.

По этому поводу рекомендую забить на Java и написать все в одном текстовике на педоне

http://habrahabr.ru/post/114503/

программа на Java потребует компиляции, jar файлов и т.д.

не знаю что значат все эти слова, открываю текстовый редактор (eclipse) пишу туда что надо и нажимаю кнопку «запустить», УМВР ЧЯДНТ

Ты что-то давно не срал в толксах своим жиденьким моском, у тебя повышено внутричерепное давление и от этого ты начинаешь запускать тыпые шутки. Иди напиши что-то свеженькое, ненужное.

Попробуй запустить это на странице этого треда:

var iterator = document.evaluate('//img', document, null, XPathResult.ANY_TYPE, null);

try {
  var thisNode = iterator.iterateNext();
  
  while (thisNode) {
    console.log(thisNode.src);
    thisNode = iterator.iterateNext();
  }	
}
catch (e) {
  dump( 'Error: Document tree modified during iteration ' + e );
}

html - это подмножесство XML, а именно DOM-модель.

Для его парсинга лучше применять парсеры DOM.

wget -O- http://… 2>/dev/null | sed -nr 'тут регулярка' | wget -i-

не? Я не совсем въехал, по какому критерию ты хочешь выкусывать URL, пиши подробней.

Может ему нужно на сервак это дело. A Eclipse-проект в качестве deployment package - не кошерно

Главное не заюзать XML парсер )

Ты бы лучше послушал опытного в этих делах человека, а то в первый же раз опозоришься :-)

файл с линками? Есть. Xpath такой

/html/body/div[@class='shade']/div[@class='bg contentbot']/div[@id='content']/div[@class='padd']/div[@class='container_main main_right_pos']/div[@id='com_item']/div[@class='item_contener']/div[@class='level_left']/div[@class='imgitem']/img[@class='zoomimg']/@src

Ах, оставьте, мы же здесь все вас знаем, что вы под приличную персону маскируетесь, клоун вы эдакий!

не работает в данном случае wget( Не находит вхождения

Чего? ЯННП. Какие вхождения wget должен искать?

Если ты эту страницу в хроме смотришь, сделай ей такой evaluate, как я показал, только xpath свой подставь - это самый негеморный варант на один раз. Если нет - возьми любой перл, напиши скрипт и наслаждайся.

ну, ваши извращения по запуску xpath в консоли разработчика хромиума чтобы сохранить картинку выглядят как минимум не менее забавно и оригинально... но лучше всё-таки с бабами делать это

это конечно уже результат вот только как это сделать в приделах одного скрипта? Неужели из баша никак?

Почему я гуглю вместо тебя? http://stackoverflow.com/questions/15461737/how-to-execute-xpath-one-liners-f...

Да что же вы так к этим мистическим «бабам» пристали-то?! В каждом сообщении пытаетесь меня склонить к беседе об оных. Отвяжитесь от меня, гадкий вы, противный балабол.

xmllint --xpath 'selector' filename.xml

Скорее не защита, а плюшки на яваскрипте.

Бери любимый скриптовый язык, первую попавшуюся библиотеку для парсинга хмтл и на колеке наговнокодь, тривиально ж всё.

вот чего я меньше всего хочу, так писать программку на java для такой рутинной и одноразовой работы
Надеюсь обойтись одним башем.

/0 Писать на баше извращение кроме самых простейших случаев. Супопарсеры, собственно, есть не только под жабу.

Правильно, поназапускал ты xpath через свои хипстерские руби, теперь никаких женщин не хочется

Хозяйке на заметку: шутка про женщину становится смешнее с каждым разом. Осторожно, ближе ко второму десятку попыток вы рискуете быть посланными. Козероги, вас ждет удачная командировка. Овнам следует избегать брюнетов.

Пошел я таки по пути питона, но столкнулся с проблемой. Вот проблемный участок Нужно сделать следующеe: получить 4ре цифры,между <br> и </div>, и собственно адрес, что 2мя строками выше. Я смог получить класс <supergoods> но дальше процесс не идет. Эти цифры просто не ищутся. Причем, ни в данном блоке, ни во всем документе. Как-будто их данная библиотечка игнорирует. Делаю через

soup.find()

find выбирает элементы среди потомков, текст - это не элемент. Если хочется разобраться, почитай что такое узел (Node) и элемент и чем они отличаются.

Для текста в супе есть .text, он вернёт всё текстовое содержимое элемента конкатенируя текстовые узлы.

Все, разобрался. Спасибо.
//Уж не думал что придется учить что-то принципиально новое, но это к лучшему.