LINUX.ORG.RU

Pentoo плохо скачивает архивы

 , ,


1

1

Вновь приветствую всех.

В прошлой теме посоветовали копать в сторону pentoo для проверки безопасности сервера. Pentoo был подключен, дерево синхронизировано. Но попытка установки банального routersploit завершается со странной ошибкой:

# emerge -av routersploit
...
>>> Emerging (1 of 10) dev-python/bluepy-1.3.0::pentoo
 * Fetching files in the background.
 * To view fetch progress, run in another terminal:
 * tail -f /var/log/emerge-fetch.log
>>> Downloading 'https://gentoo.c3sl.ufpr.br/distfiles/bluepy-1.3.0.tar.gz'
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   227  100   227    0     0    112      0  0:00:02  0:00:02 --:--:--   112
!!! Fetched file: bluepy-1.3.0.tar.gz VERIFY FAILED!
!!! Reason: Filesize does not match recorded size
!!! Got:      227
!!! Expected: 217933
Refetching... File renamed to '/usr/portage/distfiles/bluepy-1.3.0.tar.gz._checksum_failure_.pdwlxdvq'

Дальше он начинает перебирать зеркала, но эта ошибка затрагивает их все. С основой таких проблем было всего несколько, их было довольно легко обойти.

Поначалу пенял на VPN\proxy, к которым подключен всё время, но сброс всех настроек прокси и iptables ничего не дал. Не сбросил только автоматическое назначение прокси в консоли - вместо этого всегда сбрасываю вручную. Wget отлично достаёт все файлы с зеркал, то же самое можно сделать в firefox даже через VPN\proxy, а из FTP всё успешно скачивается с помощью MC.

Долго пытаюсь понять, в чём проблема, но неудачно. ЧЯДНТ? Понять не могу, почему такое происходит...

Заранее спасибо за ответы.


emerge --info
И ещё я бы проверил наличие места на диске и права на диру куда у вас сохраняются файлы. Хотя вряд-ли в этом дело.

stage3 ★★
()

по умолчанию портаж должен скачивать архив с серверов pypi, как это указано в ебилде

у тебя скорее всего используется дополнительное зеркало в GENTOO_MIRRORS

linxon
()
Ответ на: комментарий от linxon

Вот моя конфигурация:

GENTOO_MIRRORS="https://gentoo.c3sl.ufpr.br/ https://mirror.csclub.uwaterloo.ca/gentoo-distfiles/ ftp://ftp.fi.muni.cz/pub/linux/gentoo/
 rsync://ftp.fi.muni.cz/pub/linux/gentoo/ https://mirror.dkm.cz/gentoo/ ftp://mirror.dkm.cz/gentoo/ 
rsync://mirror.dkm.cz/gentoo/ ftp://ftp.free.fr/mirrors/ftp.gentoo.org/ 
https://mirrors.soeasyto.com/distfiles.gentoo.org/ ftp://mirrors.soeasyto.com/distfiles.gentoo.org/
 https://mirror.eu.oneandone.net/linux/distributions/gentoo/gentoo/ 
rsync://mirror.eu.oneandone.net/gentoo/ ftp://ftp.wh2.tu-dresden.de/pub/mirrors/gentoo
 ftp://mirror.netcologne.de/gentoo/ https://mirror.netcologne.de/gentoo/ 
rsync://mirror.netcologne.de/gentoo/ https://linux.rz.ruhr-uni-bochum.de/download/gentoo-mirror/
 https://ftp.halifax.rwth-aachen.de/gentoo/
 ftp://ftp.halifax.rwth-aachen.de/gentoo/ rsync://ftp.halifax.rwth-aachen.de/gentoo/
 https://ftp.fau.de/gentoo ftp://ftp.fau.de/gentoo rsync://ftp.fau.de/gentoo https://ftp-stud.hs-esslingen.de/pub/Mirrors/gentoo/
 ftp://ftp-stud.hs-esslingen.de/pub/Mirrors/gentoo/ rsync://ftp-stud.hs-esslingen.de/gentoo/ 
ftp://ftp.ntua.gr/pub/linux/gentoo/ https://mirror.isoc.org.il/pub/gentoo/
 rsync://ftp.iij.ad.jp/pub/linux/gentoo/ ftp://ftp.iij.ad.jp/pub/linux/gentoo/ 
https://ftp.jaist.ac.jp/pub/Linux/Gentoo/ https://mirror.ps.kz/gentoo/pub ftp://mirror.ps.kz/gentoo/pub
 rsync://mirror.ps.kz/gentoo https://mirror.leaseweb.com/gentoo/ rsync://mirror.leaseweb.com/gentoo/ https://ftp.snt.utwente.nl/pub/os/linux/gentoo
 ftp://ftp.snt.utwente.nl/pub/os/linux/gentoo rsync://ftp.snt.utwente.nl/gentoo 
rsync://ftp.vectranet.pl/gentoo/ https://ftp.rnl.tecnico.ulisboa.pt/pub/gentoo/gentoo-distfiles/ 
ftp://ftp.rnl.tecnico.ulisboa.pt/pub/gentoo/gentoo-distfiles/ rsync://ftp.rnl.tecnico.ulisboa.pt/pub/gentoo/gentoo-distfiles/
 ftp://ftp.dei.uc.pt/pub/linux/gentoo/ https://mirror.yandex.ru/gentoo-distfiles/
 https://gentoo.wheel.sk/ ftp://gentoo.wheel.sk/pub/linux/gentoo/ ftp://ftp.kaist.ac.kr/gentoo/
 https://ftp.lanet.kr/pub/gentoo/ ftp://mirror.mdfnet.se/gentoo https://mirror.mdfnet.se/gentoo 
ftp://ftp.linux.org.tr/gentoo/ rsync://ftp.linux.org.tr/gentoo-distfiles/ 
ftp://mirror.bytemark.co.uk/gentoo/ https://mirror.bytemark.co.uk/gentoo/ 
rsync://mirror.bytemark.co.uk/gentoo/ https://mirrors.evowise.com/gentoo/ 
https://www.mirrorservice.org/sites/distfiles.gentoo.org/ ftp://ftp.mirrorservice.org/sites/distfiles.gentoo.org/ 
rsync://rsync.mirrorservice.org/distfiles.gentoo.org/ https://gentoo.ussg.indiana.edu/ 
https://mirrors.lug.mtu.edu/gentoo/ https://gentoo.osuosl.org/ https://mirrors.rit.edu/gentoo/ https://mirror.sjc02.svwh.net/gentoo/"
SM5T001
() автор топика
Ответ на: комментарий от SM5T001

опс. дальше вывода не читал :)

можно попробовать просто исключить все эти зеркала для оверлеев, оставив GENTOO_MIRRORS пустым. Для этого нужно в /etc/portage/env/ создать файлик nomirror с содержимым:

# Скачивать архивы с оригинального источника
GENTOO_MIRRORS=""

потом создать директорию /etc/portage/package.env, во внутрь положить файлик overlays:

*/*::pentoo nomirror
linxon
()
Ответ на: комментарий от stage3

Права проверял - некоторые архивы скачиваются. Вот в этом и проблема - если бы не скачивались все, то можно было бы хотя бы примерно прикинуть, в чём ошибка. Но нет - тут качает, а вот тут уже не хочет. Странно это.

# emerge --info
...
Repositories:

pentoo
    location: /var/lib/layman/pentoo
    sync-type: laymansync
    sync-uri: https://github.com/pentoo/pentoo-overlay.git
    masters: gentoo
    priority: 50

gentoo
    location: /usr/portage
    sync-type: rsync
    sync-uri: rsync://rsync.gentoo.org/gentoo-portage
    priority: -1000
    sync-rsync-extra-opts: 
    sync-rsync-verify-metamanifest: yes
    sync-rsync-verify-max-age: 24
    sync-rsync-verify-jobs: 1

Выглядит вполне нормально, хотя кто знает.

SM5T001
() автор топика
Ответ на: комментарий от linxon

Отключил зеркала. Теперь качает с pypi, но всё равно с ошибкой:

>>> Emerging (1 of 10) dev-python/bluepy-1.3.0::pentoo
 * Fetching files in the background.
 * To view fetch progress, run in another terminal:
 * tail -f /var/log/emerge-fetch.log
>>> Downloading 'https://pypi.org/packages/source/b/bluepy/bluepy-1.3.0.tar.gz'
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   272  100   272    0     0     98      0  0:00:02  0:00:02 --:--:--    98
!!! Fetched file: bluepy-1.3.0.tar.gz VERIFY FAILED!
!!! Reason: Filesize does not match recorded size
!!! Got:      272
!!! Expected: 217933
Refetching... File renamed to '/usr/portage/distfiles/bluepy-1.3.0.tar.gz._checksum_failure_.nsxm69_t'

>>> Downloading 'https://files.pythonhosted.org/packages/source/b/bluepy/bluepy-1.3.0.tar.gz'
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
!!! Couldn't download 'bluepy-1.3.0.tar.gz'. Aborting.

Вот уж не знаю...

SM5T001
() автор топика
Ответ на: комментарий от SM5T001

или вместо пустого GENTOO_MIRRORS указать FEATURES="-mirror". Так тоже должно срабоать

linxon
()
Ответ на: комментарий от SM5T001
!!! Got:      272
!!! Expected: 217933

Выглядит очень подозрительным :)

linxon
()
Ответ на: комментарий от SM5T001

редко бывает, когда ссылка, указанная в ебилде, умирает. Использовать зеркала стоит только в том случае, когда нужно разгрузить основное зеркало и повысить скорость загрузки с других серверов, которые к тебе ближе. Не нужно указывать туеву кучу зеркал, ибо это заметно уменьшает скорость работы портажа — 1-2х будет достаточно

linxon
()
Ответ на: комментарий от linxon

Что же, я нашёл решение проблемы - убил ради эксперимента сами VPN/proxy, к которым подключался, и обнаружил ошибку

Failed to connect to 127.0.0.1 port 1234: В соединении отказано

Значит проблема в переменных среды, которые я закопал очень глубоко. Придётся всё выкорчевывать, а обидно - получается, что после манипуляций нужно будет снова всё прописывать и перезагружать среду? Можно ли, интересно, как-нибудь указать именно с pentoo никогда не использовать эти переменные?

А вот за подсказку с зеркалами большое спасибо, возьму на вооружение.

SM5T001
() автор топика
Ответ на: комментарий от SM5T001

не совсем понимаю о каких переменных идет речь. :)

Преимущественно в SRC_URI ставят HTTPS ссылки и поэтому волноваться особо не стоит. Если вдруг появляется нужда использовать прокси, то из документации можно вычитать вот это:

/etc/portage/make.conf

http_proxy="http://username:password@yourproxybox.org:portnumber"
ftp_proxy="ftp://username:password@yourproxybox.org:portnumber"
RSYNC_PROXY="rsync://username:password@yourproxybox.server:portnumber"

VPN работает на другом уровне

Больше ничего не нужно настраивать, мне кажется…

linxon
()
Ответ на: комментарий от linxon

не совсем понимаю о каких переменных идет речь

Как раз о тех самых, которые идут дальше в примере make.conf. Разве что кроме http_proxy надо использовать ещё и https_proxy.

Преимущественно в SRC_URI ставят HTTPS ссылки и поэтому волноваться особо не стоит.

Да, но странно, что мои узлы оно сбрасывает. Это при том, что основа так никогда не делает, хотя это не тор какой-нибудь...

А вот временно перезаписать переменные через make.conf можно таки попробовать, да.

VPN работает на другом уровне

Знаю, но у меня сначала идёт SSH до входного узла моей небольшой сети. В этом именно суть. Включается одной командой:

ssh -f -C2qTnN -D 1234 tunnel@entrynode.su

Потом просто везде прописать localhost:1234 и готово. Но расписывать всю свою конфигурацию я не буду - тут в целом всё очевидно.

В целом проблема решена.

SM5T001
() автор топика
Ответ на: комментарий от init_6

Спасибо за предупреждение, конечно, но мне не очень и нужно gentoo-based. Мне вполне пойдёт и просто gentoo с оверлеями.

Ведь вместо того, чтобы использовать

layman -a bentoo

 * Adding overlay...
 * Exception: Overlay "bentoo" does not exist.

Будет гораздо лучше использовать нативный метод. Над ним больше контроля.

SM5T001
() автор топика
Ответ на: комментарий от SM5T001

Даже сама тема

Pentoo плохо скачивает архивы

4.2 в явном виде. pentoo дистрибутив узкой специализации и ему перпендикулярно что ты там скачиваешь. А скачивает portage при помощи curl/wget/git/aria… Разницы не заметил? А вы господа модераторы? Ладно продолжим…

Fetched file: БНАПНЯ VERIFY FAILED!
!!! Reason: Filesize does not match recorded size

Это даже без знания английского можно перевести напонятный тем же гугл переводчиком. Таким незатейливым образом portage информирует пользователя о том что то что он знал о файле не соответствует тому что он скачал под видом этого файла. А ситуация такая возникает в нескольких случаях либо ты скачал тыкву вместо файла либо сам файл поменялся за то время что прошло со дня добавления сведений об этом файле в portage.

ЧЯДНТ?

Не читаешь мануалы а вместо этого срешь на ЛОРе тупым спамом. И да ответ на твою проблему на первой же странице выдачи того же гугла.

init_6 ★★★★★
()
Ответ на: комментарий от init_6

Запах флейма уже чую. Шашлычок...

Давай не будем мешать модераторам и засорять тему. Если есть что по делу сказать - призывай в Talks, покажешь, где это в гугле(которым не стоит пользоваться, кстати) на первой строке сказано, что при настройке прокси в gentoo основу качать будет(без тора, а именно со своими личными машинами в туннеле), а вот оверлеи - нет. А тут не по теме не стоит.

SM5T001
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.