Вытащить данные с сайта на ASP.NET

мне кажется все регэкспами можно сделать

[ bash + ] curl/wget + grep/sed/perl

viewstate разобрать не получится, т.к. он шифруется, а ключ шифрования генерится для каждого сервера свой.

Можно юзать Selenium

select * from ...

Не, вроде не шифруется. Как минимум base64 -d дает относительно нормальный текст.

Ща посмотрю на selenium.

А ЛОР - торт. 3 ответа из 4х не по теме :)

Тут ВСЕ ответы по теме. )))

ага, 3/4 не удосужились посмотреть что такое viewstate в asp.net :)

А зачем? Это ведь _тебе_ нужно, чтоб тебя поняли, а не отвечающим. ))

А зачем отвечать, если не понял вопроса?

А selenium похоже то, что нужно, спасибо.

Поставил selenium IDE в firefox. Теперь возьму модуль для перла и наверное все будет хорошо...

Как зачем? Развивать телепатические навыки.

> А зачем отвечать…

действительно, ведь можно было сразу на винфак послать…

А я расковыриваю неправославный сайт из совершенно православного линукса. Так что на винфаке не помогут.

Хотя проблема уже почти решена. Selenium отличная штука.

> А я расковыриваю неправославный сайт из совершенно православного линукса.

а для православных Ъ пару слов о неправославных технологиях религия сказать запретила? неправославная у вас религия. вывод: на неправославный винфак ;)

>действительно, ведь можно было сразу на винфак послать…

Человек спрашивал про свободные средства. Хотел справится с проприетарным беспределом, а вы его на винфак...

>Не, вроде не шифруется. Как минимум base64 -d дает относительно нормальный текст.

Хм, значит мне показалось. Для чего-то там использовалось шифрование (а может, это была подпись viewstate?).

говорят их можно шифровать, но это не обязательно.

Если человек не в курсе, что это такое, он вряд ли скажет что-то полезное.

А вообще

http://www.google.ru/search?q=asp.net+viewstate

первые 2 ссылки, но да, не Ъ.

Для каждой кнопки смены страницы есть js, который делает пост. Причем js уже содержит заенкоденные данные. Ничего дополнительно кодировать не надо. Нужно просто его распарсить и запостить, естественно не забыть выдрать __EVENTTARGET, __EVENTARGUMENT, __VIEWSTATE, __EVENTVALIDATION и остальные контролы на форме. TamperData в помощь.

Ниже код на питоне, который это парсит для списка пользователей в мтсовском сервис-гиде.

def task_page_num(self, page_num):
        match = re.search(
            u'(?ius)Страницы:</span>.*?javascript:__gvctl00_placer_tableControl_view\.callback\("(?P<callback>%d.*?)"\);\s*return\s*false;"\s*href="javascript:__doPostBack\(\'ctl00\$placer\$tableControl\$view\',\'Page\$%d\'\)">%d</a>' % (page_num-1, page_num, page_num),
            self.body)

        if not match:
            raise self.ErrorSaveBody(u'Не могу распарсить ссылку для страницы [%d]' % page_num)

        self.page_user_list.post['__gvctl00_placer_tableControl_view__hidden'] = match.group('callback')

        return self.page_user_list.fetch()

спасибо, попробую если selenium не поможет.