HTML-парсинг андроид-маркета

 echo "<div>3</div><a ><p>4</p>" | sed -E 's|</([^>]+)>|</\1>\n|ig' 

например
или методом исключения (отрезания лишнего) можно оставить нужные данные

android market api

гугл впринципе почти не банит, только запросы надо на части бить
я практически весь маркет выпарсил когда тестил

Ухты, спасибо за эту команду!
Еще вопрос: как теперь в output'е найти блок с angry birds, а потом в нем найти значение тега <div class=«ordinal-value»></div> ?

$ GET https://market.android.com/details?id=apps_topselling_paid | sed -E 's|</([^>]+)>|</\1>\n|ig' | grep 'class="title"' | sed 's/.*title="//' | sed 's/" .*//'

примерно так вообще можно по порядку получить список

Огромное спасибо! А если нужно получить не названия приложений, а названия пакетов (com.ea.worms_row ... )?

мда
что только люди не делают, лишь бы готовое не использовать

А что готовое? По ссылке php'шную реализацию API? Сейчас посмотрю, спасибо!

java-реализация API была бы лучшим вариантом, но та, что по ссылке - там вроде нельзя решить данную задачу. Скриншоты можно получать, данные о конкретном приложении можно, а номер позиции в категории - не нашел примера.

да, я про неофициальный php api

номер позиции в категории - не нашел примера.

поковыряю на досуге, может получится

Ну я так понял, то php реализация - это реализация java-версии. Спасибо!

Что-то пока не соображу с регуляркой.

GET https://market.android.com/details?id=apps_topselling_paid | sed -E 's|</([^>]+)>|</\1>\n|ig' | grep '<li class="goog-inline-block" data-docid=' | sed 's/.*data-docid="//' | sed 's/" .*//'

Вот такая команда получилась:

GET https://market.android.com/details?id=apps_topselling_paid | sed -E 's|</([^>]+)>|</\1>\n|ig' | grep '<li class="goog-inline-block" data-docid=' | sed 's/.*data-docid="//' | sed 's/".*//'

Осталось только перебирать страницы :)

for i in {0..10}; do 
GET "https://market.android.com/details?id=apps_topselling_paid&start=$i&num=24" | sed -E 's|</([^>]+)>|</\1>\n|ig' | grep '<li class="goog-inline-block" data-docid=' | sed 's/.*data-docid="//' | sed 's/".*//' ;
done

так ?

Именно! Большое спасибо!
Только немного исправил:

...
done | nl

В общем, еще немного поправил скрипт, дописал, потом написал еще скрипт на перле, который парсит результат и пишет все в базу.
Всем спасибо!

А как объединить 2 команды - чтобы грепалось и название пакета и название приложения?

А как объединить 2 команды - чтобы грепалось и название пакета и название приложения?

Хватит напрягать ЛОР, ленивое ты говно. Почитай уже маны.

grep -e bla -e blah
? :)

Это да. Но после грепа же идет sed

$ GET https://market.android.com/details?id=apps_topselling_paid | grep -o -E '<a ([^>]+)buy-link([^>]+)>'

ето все можно писать в файло (все страницы) ,
потом построчно отрезать <a и > , ставить ; после '" ' и тупо eval
и echo $data-docId

Я подобное обычно через XPath-запросы парсю. Весьма компактно и понятно получается.

А что лучше для XPath юзать?
Я css селекторами делал, Web::Query с этим неплохо справляется.

Кстати, вроде все сделал, написал скрипты и теперь могу парсить все чарты + по названию пакета могу забирать название приложения, цену, рейтинг, описание, автора, категорию и тд.

Кстати, вроде все сделал, написал скрипты и теперь могу парсить все чарты + по названию пакета могу забирать название приложения, цену, рейтинг, описание, автора, категорию и тд.

Мы все рады за тебя. Очень переживали.

Премьер-министром главное не становись. :)