LINUX.ORG.RU
ФорумTalks

флибуста

 


0

1

Подскажите, как стянуть раздел с флибусты?

Мучаюсь с вгетом, никак не могу заставить его с этой http://proxy.flibusta.net/b/102773 страницы тянуть ссылку с fb2: «Метро 2033 1142K (читать) скачать: (fb2)».

Хочется, конечно, раздел целиком хапнуть: http://proxy.flibusta.net/g/sf_action/Pop

★★

По-моему проще качнуть все книги с торрентов, а ту страницу использовать как справочник

goingUp ★★★★★
()

Как правило помогает установка referer и user agent

router ★★★★★
()

Торрентами надо, а не вгетики вкатывать. У людей там может вместо сервера холодильник.

quiet_readonly ★★★★
()
Ответ на: комментарий от Sadler

Что же, ничего не читать совсем?

Художку да, можно игнорировать.

mikhalich ★★
()
Ответ на: комментарий от Sadler

Сочувствую, что вас окружает такая литература.

Что же, ничего не читать совсем?

Классики, думаю, хватит более чем на всю жизнь.

buddhist ★★★★★
()
Ответ на: комментарий от buddhist

Классики, думаю, хватит более чем на всю жизнь.

А вы что, в метро/автобусе утром в давке можете классику читать? Всему свое место и время, имхо. В очереди за хлебом Баха слушать глупо

upcFrost ★★★★★
()
Ответ на: комментарий от at

http://proxy.flibusta.net/b/102773/fb2 Нормально качается.

Ага, если непосредственно его тянуть. Или страничку автора рекурсивно, но с кучей ненужного говна. А если из страницы с жанром, то количество ненужного уже вообще зашкаливает.

Reaper ★★
() автор топика
Ответ на: комментарий от goingUp

Была бы там разбивка по жанрам, тянул бы.

Reaper ★★
() автор топика
Ответ на: комментарий от Satou

Не стоит оно потраченного на чтение времени

Я читал эту книгу, мне не именно она нужна.

Reaper ★★
() автор топика
Ответ на: комментарий от upcFrost

«Классика» в широком смысле слова. Классика фантастики, например. Я спокойно смогу в метро/автобусе читать любимого Хайнлайна, или Желязны, или Гаррисона.

buddhist ★★★★★
()

Короче, я понял, придётся бота написать, с wgetом проблема в том, что список авторов тут: http://proxy.flibusta.net/g/sf_action, сами книги тут: http://proxy.flibusta.net/b/ХХХХХХ/, урлы на книги в fb2 такие: http://proxy.flibusta.net/b/184050/fb2. Я не могу нормально ограничить дерево откуда качать с нужной глубиной рекурсии и не могу нормально указать, тип файла.

Reaper ★★
() автор топика
Ответ на: комментарий от Satou

Метро 2033

Не стоит оно потраченного на чтение времени

Дело вкуса. Мне очень понравилось. А вот Метро 2034 читать не стоит, ИМХО.

observer ★★★
()
Ответ на: комментарий от buddhist

Хайнлайна, или Желязны, или Гаррисона

Ну, если брать классику в широком смысле - согласен

upcFrost ★★★★★
()
Ответ на: комментарий от Sadler

Да уж, я переживаю, что у меня Жид с Вульф стынут, а тут «читать нечего»...

Solace ★★
()
Ответ на: комментарий от Sadler

Мне пока и Айн Рэнд хватает :)

Фи. Лучше Джека нашего все Лондона почитай, «железная пята». Что характерно, книга написана до революции в России, вернее под впечатлением от провала революции 1905го года.

DNA_Seq ★★☆☆☆
()
Ответ на: комментарий от observer

2033 можно читать только если больше ничего нет на примете, там концовка немного скрашивает общую унылость
2034 вообще читать не стоит, лучше погулять сходить (:

Satou ★★★★
()

ЮзерАгент поставь вгёту другой и будет качаться.

Ygor ★★★★★
()
Ответ на: комментарий от upcFrost

А вы что, в метро/автобусе утром в давке можете классику читать? Всему свое место и время, имхо. В очереди за хлебом Баха слушать глупо

В очереди за хлебом можно слушать Боба Марли. Ну или Cannibal Corpse, смотря что ты думаешь об окружающих :)

В метро попробуй Оруэлла почитать, должно хорошо подойти под обстановку :D

Если серьёзно, то вот список годной фантастики

router ★★★★★
()
Последнее исправление: router (всего исправлений: 1)

Мучаюсь с вгетом

вот из-за кого флибуста постоянно тормозит!
качай уже с торрентов.

Bad_ptr ★★★★★
()
Ответ на: комментарий от Satou

2034 вообще читать не стоит, лучше погулять сходить

+1 . Отсутствие цельного сюжета делает её весьма скучной.

Sadler ★★★
()
Ответ на: комментарий от Sadler

Если аффтор не может внятно изложить свою позицию на 10 страницах то читат остальное не имеет смысла. Да, чтобы определить что перед тобой говно не обязательно пробовать его на вкус. Тем более самым значимым произведением г-жи Рейнд является не атлант а донос на Чаплина. А уж ее «объективизм» это вообще ламерство, возведенное в квадрат. Земля русская породила лишь одного приличного философа, Владимира Ильича.

DNA_Seq ★★☆☆☆
()
Последнее исправление: DNA_Seq (всего исправлений: 1)

Целый раздел? Вам, случаем, не OPDS нужен?

AITap ★★★★★
()

Наслаждайся. Только не все книги тянет, видимо не все есть в fb2 (Потом надо просто удалить файлы с нулевым размером)

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#
#  fldl.py
#
#  Copyright 2012 Alex <elfjse@gmail.com>
#
#  This program is free software; you can redistribute it and/or modify
#  it under the terms of the GNU General Public License as published by
#  the Free Software Foundation; either version 2 of the License, or
#  (at your option) any later version.
#
#  This program is distributed in the hope that it will be useful,
#  but WITHOUT ANY WARRANTY; without even the implied warranty of
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
#  GNU General Public License for more details.
#
#  You should have received a copy of the GNU General Public License
#  along with this program; if not, write to the Free Software
#  Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston,
#  MA 02110-1301, USA.
#

import urllib
import re
import sys
import subprocess

def get_page(url):
    f = urllib.urlopen(url)
    tmp = f.read()
    f.close()
    return tmp

def find_books(data):
    return re.findall(r'<a href=/b/([0-9]+)>(.+)</a><br>', data)

if __name__ == '__main__':

    try:
        ar = sys.argv[1]
    except:
        print "default url:http://proxy.flibusta.net/g/sf_action/Pop"
        print "usage: fbdl [url]"
        ar = 'http://proxy.flibusta.net/g/sf_action/Pop'

    p = get_page(ar)
    for book_id in find_books(p):
        url = 'http://proxy.flibusta.net/b/%s/fb2' % book_id[0]
        fl ='%s.zip' % book_id[1]
        cmd = ['wget', url, '-O', fl]
        subprocess.call(cmd)


Siado ★★★★★
()
Последнее исправление: Siado (всего исправлений: 1)
Ответ на: комментарий от Siado

Это... спасиба. Я просто уже свой с блэкджеком и шлюхами запилил. Если не находит заданный формат, пытается скачать какие есть. Поддерживает останов и последующую докачку. Делает паузы после скачиваний, т.е. не грузит сервис.

https://bitbucket.org/Reaper507/flibusta-genre-crawler

Reaper ★★
() автор топика
Ответ на: комментарий от Artificial_Thought

Пожалуйста, не надо тянуть с сервера флибусты через веб дофига данных. Стяни торрент.

Я не по хамски, трёхсекундные паузы между скачиваниями. В торрентах файлы огромные, по жанрам разбивки нет, моё тянет книги из жанра, докачивает отсутствующее.

Reaper ★★
() автор топика
Последнее исправление: Reaper (всего исправлений: 1)
Ответ на: комментарий от x0r

Меня тоже концовка разочаровала.

Reaper ★★
() автор топика
Ответ на: комментарий от tyakos

Что «видишь»? Где «шалит»? Я флибустой-то и не пользуюсь, жена с нее что-то свое качает по мере написания...

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от tyakos

Какие ссылки? Все, что внутри тега [code], скриптик при цитировании не трогает.

А само сообщение, которое пишешь, он вообще не изменяет.

Eddy_Em ☆☆☆☆☆
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.