LINUX.ORG.RU

обход Squid'a (ограничение на размер скачиваемого файл)


0

0

Конечно, можете погнать меня в шею... ОДнако я с другой стороны баррикады, получается... В универе, где я работаю, сквид прокси. Недавно огрничили объем скачиваемого файла до 300Мб. Странный способ съэкономит трафик (я тоннами по-прежнему выкачиваю файлы меньше 300Мб) На офиц. сайте сквида прочитал, что данное ограничение легко обойти, вот цитата на англ. Note that ``creative'' user-agents will still be able to download really large files through the cache using HTTP/1.1 range requests Как это задействовать? Я не супер спец, - помогите разобраться?

anonymous

> 300Мб) На офиц. сайте сквида прочитал, что данное ограничение легко
> обойти, вот цитата на англ. Note that ``creative'' user-agents will
> still be able to download really large files through the cache using
> HTTP/1.1 range requests Как это задействовать? Я не супер спец, -
> помогите разобраться?

Делаешь запрос на первые 300Мб требуемого тебе файла, потом на вторые
300, etc. Потом склеиваешь отданные тебе проксей результаты =) Можно,
например, использовать curl с ключом --range - подробности посмотри в
man curl.

int19h ★★★★
()
Ответ на: комментарий от int19h

ТАк, почитал про курл. Вроде понятно как сделать то, что мне нужно. ОДнако я не пойму как этот крул установить? Чтобы потом команднйо стракой запустить скачивание части файла... Кто может объяснить подробнее на пальцах?

anonymous
()
Ответ на: комментарий от anonymous

> ТАк, почитал про курл. Вроде понятно как сделать то, что мне нужно.
> ОДнако я не пойму как этот крул установить? Чтобы потом команднйо
> стракой запустить скачивание части файла... Кто может объяснить
> подробнее на пальцах?

Что значит "как установить"?? `apt-get install curl` или там `emerge
curl` или что там у вас...

int19h ★★★★
()
Ответ на: комментарий от int19h

Я скачал курл, у него там экзешник один... Конечно дабл-клик на него - ерунда... Думал под ДОС к нему из командной строки обратиться типа curl.exe -r 0-100 (первые сто байт выдать). Нет пишет, что это не внешняя программа и пр. Читаю в инете, - везде это курл инициируют в пхп... И как-то на нем (курле) программируют, в хтмл вставляют... Но мне так не надо, мне надо его как программу запустить выполнить соответствующее задание (range). `emerge curl` - это что? Команда, которая из-под ДОСа инициирует курл?

anonymous
()
Ответ на: комментарий от anonymous

Превед, добро пожаловать в Интернет! Тебе название сайта ни о чем не говорит?

Shaman007 ★★★★★
()

Administrativa

Дорогие друзья,

мне кажется, тема себя исчерпала, как с помощью curl преодолеть ограничения squid было пояснено, а описывать, как запускать curl, да еще и под Windows, по-моему, уже излишне. Я полагаю, вопрошающий способен проделать минимальные умственные манипуляции и решить этот вопрос самостоятельно.

За сим тему прошу считать закрытой, по крайней мере до появления новых обстоятельств, имеющих отношение к тематике сайта.

ivlad ★★★★★
()

Хочу продолжить по теме... Разобрался я как курлом пользоваться. Файлы меньше лимита скачиваются по кусочкам без проблем с командой range, а вот те что выше, помоему и c range Squid не пропускает... Вот сделал команду trace, ниже привожу лог если от этого есть польза

== Info: About to connect() to 62.76.115.40 port 3128 == Info: Trying 62.76.115.40... == Info: connected == Info: Connected to 62.76.115.40 (62.76.115.40) port 3128 => Send header, 266 bytes (0x10a) 0000: 47 45 54 20 68 74 74 70 3a 2f 2f 64 6f 77 6e 6c GET http://downl 0010: 6f 61 64 2e 6d 69 63 72 6f 73 6f 66 74 2e 63 6f oad.microsoft.co 0020: 6d 2f 64 6f 77 6e 6c 6f 61 64 2f 43 2f 31 2f 36 m/download/C/1/6 0030: 2f 43 31 36 39 42 41 36 30 2d 45 32 44 36 2d 34 /C169BA60-E2D6-4 0040: 43 35 46 2d 42 34 46 32 2d 32 33 44 41 30 32 34 C5F-B4F2-23DA024 0050: 43 39 46 41 38 2f 78 70 53 50 32 2e 65 78 65 20 C9FA8/xpSP2.exe 0060: 48 54 54 50 2f 31 2e 31 0d 0a 52 61 6e 67 65 3a HTTP/1.1..Range: 0070: 20 62 79 74 65 73 3d 30 2d 31 30 30 30 30 30 30 bytes=0-1000000 0080: 0d 0a 55 73 65 72 2d 41 67 65 6e 74 3a 20 63 75 ..User-Agent: cu 0090: 72 6c 2f 37 2e 31 33 2e 31 20 28 69 35 38 36 2d rl/7.13.1 (i586- 00a0: 70 63 2d 6d 69 6e 67 77 33 32 6d 73 76 63 29 20 pc-mingw32msvc) 00b0: 6c 69 62 63 75 72 6c 2f 37 2e 31 33 2e 31 20 7a libcurl/7.13.1 z 00c0: 6c 69 62 2f 31 2e 32 2e 32 0d 0a 48 6f 73 74 3a lib/1.2.2..Host: 00d0: 20 64 6f 77 6e 6c 6f 61 64 2e 6d 69 63 72 6f 73 download.micros 00e0: 6f 66 74 2e 63 6f 6d 0d 0a 50 72 61 67 6d 61 3a oft.com..Pragma: 00f0: 20 6e 6f 2d 63 61 63 68 65 0d 0a 41 63 63 65 70 no-cache..Accep 0100: 74 3a 20 2a 2f 2a 0d 0a 0d 0a t: */*.... <= Recv header, 24 bytes (0x18) 0000: 48 54 54 50 2f 31 2e 30 20 34 30 33 20 46 6f 72 HTTP/1.0 403 For 0010: 62 69 64 64 65 6e 0d 0a bidden.. <= Recv header, 27 bytes (0x1b) 0000: 53 65 72 76 65 72 3a 20 53 71 75 69 64 2f 32 2e Server: Squid/2. 0010: 34 2e 53 54 41 42 4c 45 36 0d 0a 4.STABLE6.. <= Recv header, 19 bytes (0x13) 0000: 4d 69 6d 65 2d 56 65 72 73 69 6f 6e 3a 20 31 2e Mime-Version: 1. 0010: 30 0d 0a 0.. <= Recv header, 37 bytes (0x25) 0000: 44 61 74 65 3a 20 54 75 65 2c 20 31 32 20 41 70 Date: Tue, 12 Ap 0010: 72 20 32 30 30 35 20 31 33 3a 32 33 3a 35 34 20 r 2005 13:23:54 0020: 47 4d 54 0d 0a GMT.. <= Recv header, 25 bytes (0x19) 0000: 43 6f 6e 74 65 6e 74 2d 54 79 70 65 3a 20 74 65 Content-Type: te 0010: 78 74 2f 68 74 6d 6c 0d 0a xt/html.. <= Recv header, 22 bytes (0x16) 0000: 43 6f 6e 74 65 6e 74 2d 4c 65 6e 67 74 68 3a 20 Content-Length: 0010: 31 30 37 30 0d 0a 1070.. <= Recv header, 40 bytes (0x28) 0000: 45 78 70 69 72 65 73 3a 20 54 75 65 2c 20 31 32 Expires: Tue, 12 0010: 20 41 70 72 20 32 30 30 35 20 31 33 3a 32 33 3a Apr 2005 13:23: 0020: 35 34 20 47 4d 54 0d 0a 54 GMT.. <= Recv header, 30 bytes (0x1e) 0000: 58 2d 53 71 75 69 64 2d 45 72 72 6f 72 3a 20 45 X-Squid-Error: E 0010: 52 52 5f 54 4f 4f 5f 42 49 47 20 30 0d 0a RR_TOO_BIG 0.. <= Recv header, 26 bytes (0x1a) 0000: 58 2d 43 61 63 68 65 3a 20 4d 49 53 53 20 66 72 X-Cache: MISS fr 0010: 6f 6d 20 6b 69 74 74 79 0d 0a om kitty.. == Info: HTTP/1.0 proxy connection set to keep alive! <= Recv header, 30 bytes (0x1e) 0000: 50 72 6f 78 79 2d 43 6f 6e 6e 65 63 74 69 6f 6e Proxy-Connection 0010: 3a 20 6b 65 65 70 2d 61 6c 69 76 65 0d 0a : keep-alive.. <= Recv data, 1070 bytes (0x42e)

anonymous
()
Ответ на: комментарий от anonymous

У елки-палки - совсем не смотрится, извиняюсь. Вот можно скачать здесь лог http://moi.nxt.ru/trace.txt При каких условиях работает range? При условии, что файл размещен на сервере, который поддерживает HTTP1.1? А не может быть такого, что Squid мой работает только по HTTP1.0 (в Ригете когда качаю, в логе - там всегда HTTP1.0 упомянается) и range команда им игнорируется. И может есть иные способы обхода Squida?

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.