[python][lxml] Как воспользоваться поисковой системой сайта

Там post-запрос, с параметрами search, submit и type. Тебе надо сделать такое же через urllib2, например.

И причём тут lxml вообще?

Сначала выучить модуль urllib2, чтобы сделать сам запрос, потом уже парсить его с помощью lxml. Советую по этому поводу также выучить XPath и использовать его при парсинге.

Перепутал XD

всем спасибо

а не можешь метод подсказать?

XPath вроде firebug выдает?

>а не можешь метод подсказать?

Метод чего тебе нужен?

http://tululu.ru/search/

чтобы сделать поиской запрос и получить страницу с результатами

>чтобы сделать поиской запрос и получить страницу с результатами

Делаешь urllib2.urlopen(), передавая ему data, которую ты создал через urllib.urlencode(). Данные - те самые search и type, посмотреть подробнее можно в firebug. В твоём случае search - твой запрос, а type - где искать.

Далее ты делаешь .read() и получаешь кучу html-я, в котором лежат результаты. Натравливаешь на эти данные регэксп, либо парсер (тот же lxml) и выдёргиваешь нужные ссылки.

Вот тебе пример -
values = {тут словарь пост данных}
data = urllib.urlencode(values)
result = load_url(url, data)

вот load_url заготовка -
http://p.py6.ru/view/111/

Я так и не понял что мне делать... Вот строка поисковика:

<input class=«inp_search» type=«text» value=«» name=«search»>

вот обработанные данные:

params = urllib.parse.urlencode({'Пелевин': 0})

осталось только:

f = urllib.request.urlopen(...)

но я не понемаю что туда пихать

опятьже у поисковика нету адреса, тесть когда ты делаешь поиск в строке адреса нифига не отображается, он так и остается http://tululu.ru/search/

попробовал

params = urllib.parse.urlencode({"search" : "Пелевин"})
f = urllib.request.urlopen("http://tululu.ru/search/", params)

ругается.

>но я не понемаю что туда пихать

Там всё написано:

http://docs.python.org/library/urllib.html

И, да, раз ты не читаешь документацию и не хочешь думать, то я предлагаю тебе заплатить мне 5$ и получить готовый скрипт, выдающий список ссылок по запросу. За 7$ ты получишь скрипт для питона 2 и 3. За 10$ будут два скрипта + два часа Enterprise-grade E-Mail support по теме этого скрипта.

Предоплата, самовывоз^W

Просто очень тяжело читать документацию когда незнаешь что искать. Это некий POST запрос.

#!/usr/bin/python
import urllib.request
import urllib.parse
params = urllib.parse.urlencode({"search" : "Пелевин"})
params = params.encode('utf-8')
f = urllib.request.urlopen("http://tululu.ru/search/", params)
print(f.read().decode('utf-8'))

Traceback (most recent call last):
  File "./lol.py", line 11, in <module>
    print(f.read().decode('utf-8'))
UnicodeDecodeError: 'utf8' codec can't decode byte 0xcf in position 189: invalid continuation byte

#!/usr/bin/python
import urllib.request
import urllib.parse

#params = urllib.parse.urlencode({'Пелевин' : 0 })
params = urllib.parse.urlencode({'search' : 'Пелевин'})
params = params.encode('utf-8')
f = urllib.request.urlopen("http://tululu.ru/search/", params)
print(f.read().decode('windows-1251'))

ошибка

Traceback (most recent call last):
  File "./lol.py", line 8, in <module>
    f = urllib.request.urlopen("http://tululu.ru/search/", params)
  File "/usr/lib/python3.2/urllib/request.py", line 138, in urlopen
    return opener.open(url, data, timeout)
  File "/usr/lib/python3.2/urllib/request.py", line 372, in open
    response = meth(req, response)
  File "/usr/lib/python3.2/urllib/request.py", line 484, in http_response
    'http', request, response, code, msg, hdrs)
  File "/usr/lib/python3.2/urllib/request.py", line 410, in error
    return self._call_chain(*args)
  File "/usr/lib/python3.2/urllib/request.py", line 344, in _call_chain
    result = func(*args)
  File "/usr/lib/python3.2/urllib/request.py", line 492, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 500: Internal Server Error

params = params.encode('utf-8')

s/utf-8/windows-1251

ураааа

#!/usr/bin/python
import urllib.request
import urllib.parse
import lxml.html
#params = urllib.parse.urlencode({'Пелевин' : 0 })
params = urllib.parse.urlencode({'value' : 'Пелевин'})
params = params.encode('windows-1251')
f = urllib.request.urlopen("http://tululu.ru/search/", params)
doc = f.read().decode('windows-1251')
print(doc)
html = lxml.html.document_fromstring(doc)
print(html)
for topic in html.cssselect('p.ph3 a'):
    print(topic.text)

вообщем я так и не понял как задать params. Все «работает» но поиского запроса не происходит.

У тебя тяжелый случай, чтобы объяснить либо придется готовый вариант дать, или начать объяснения с основ - протокол http, html формы и т.п.

я читал как формы работают... нельзя просто скрипт чуть чуть подправить? =) Я просто уже не знаю где искать...

Ну поставь firebug и посмотри какие параметры передаются, или форму посмотри (имена полей).

Вот ты пишешь -
params = urllib.parse.urlencode({'value' : 'Пелевин'})

Там нет поля value, есть поле search. И есть поле тип.
Т.е. можно например так -
params = urllib.parse.urlencode({'search' : 'Пелевин', 'type':'1",})

врубился... но всеравно ничего не выходит...

#!/usr/bin/python
import urllib.request
import urllib.parse
import lxml.html
#params = urllib.parse.urlencode({'Пелевин' : 0 })
#params = urllib.parse.urlencode({'value' : 'Пелевин'}))
params = urllib.parse.urlencode({"search" : "Пелевин", "type":"1"})
params = params.encode('windows-1251')
f = urllib.request.urlopen("http://tululu.ru/search/", params)
doc = f.read().decode('windows-1251')
print(doc)
html = lxml.html.document_fromstring(doc)
print(html)

for topic in html.cssselect('p.ph3 a'):
    print(topic.text)

вот выхлоп, и нефига...

Ну это уже надо конкрентно смотреть что не работает, может какая нить защита стоит от скриптов, но скорее всего где-нибудь ошибка, подозреваю что в кодировке.

content=«text/html;charset=windows-1251»

хотя при возврате, запрос прверащается в Пелевин

Поиска не происходит вообще. Он просто вставляет символы в поле и возвращает страницу.

Нет, это не так. Поиск происходит, не может он вставить символы и возвратить страницу. Где-то ошибка в кодировке, или еще где-то, но мне ее искать не хочется.

но по идее если я отправляю название на английском то проблемы быть не должно со стартовой страници, то он должен перейти на страницу поиска. Этого не происходит, а текст на английском следовательно не должно быть проблем.

Так там страница поиска и результатов - одна и та же страница.

я попробовал со стартовой http://tululu.ru/ и он не прешел на http://tululu.ru/search

Да он никуда не должен переходить, ты отправляешь запрос на определенную страницу (/search/) и она и должна возвращаться. Как ты там со стартовой пробовал мне не понятно.

на стартовой таже самая поисковая система, вводи и он переходит на /search/.

/search/ это не страница поиска, страница результата.

Она отправляет запрос на /search/ что тебе и нужно делать.

f = urllib.request.urlopen("http://tululu.ru/search/", params)

я заменил http://tululu.ru/search/ на http://tululu.ru. Поисковая строка там стоит точно также и он остался на http://tululu.ru.

<form action=«/search/» method=«post»>

Это значит что запрос отправляется на страницу /search/

я заменил http://tululu.ru/search/ на http://tululu.ru

Это в данном случае бесмысленно

вообщем я был прав в том смысле что он не переходит.

params = urllib.parse.urlencode({«search» : «Alma», «type»:1, «submit» : 1})

выдал результат

>вообщем я был прав в том смысле что он не переходит.

никто никуда и не должен был переходить. ты запрашиваешь страницу, она и должна возвращаться (если там нет редиректа).

Запрос на страницу /search/ же отправлял?

Не мучайся и иди спать.

#!/usr/bin/python
import urllib.request
import urllib.parse
import lxml.html

URL = 'http://tululu.ru/search/'
ENCODING = 'windows-1251'

params = urllib.parse.urlencode({
        'search' : 'Пушкин'.encode(ENCODING),
        'type' : 1,
        'submit' : ' искать '.encode(ENCODING)
        })

f = urllib.request.urlopen(URL, bytes(params, encoding=ENCODING))

doc = f.read().decode(ENCODING)
html = lxml.html.document_fromstring(doc)
for a in html.cssselect('p.ph3 a'):
    print('{}, {}'.format(a.text,
                          urllib.parse.urljoin(URL, a.attrib['href'])))

$ python /tmp/test.py
Пушкин Валентин Александрович, http://tululu.ru/a14038/
Пушкин В Г, http://tululu.ru/a14037/
Пушкин Александр Сергеевич, http://tululu.ru/a14036/

уже отмучался ^^

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib.request
import urllib.parse
import lxml.html
params = urllib.parse.urlencode({"search" : input().encode('cp1251'), "type":1, "submit" : 1})
params = params.encode('windows-1251')
f = urllib.request.urlopen("http://tululu.ru/search/", params)
doc = f.read().decode('windows-1251')
html = lxml.html.document_fromstring(doc)

for topic in html.cssselect('p.ph3 a'):
    print(topic.text)

спасибо за пример.