LINUX.ORG.RU

Предлагаю сделать в пакетных менеджерах получение пакетов по ipfs или zeronet

 , , , зеркало дистрибутива,


0

0

Навеяно это новостью о уязвимости apt при закачке пакета по http и о причине по которой debian в своё время не хотел делать закачку по https по умолчанию.
Причина эта проста - https создаёт большую нагрузку на сервер и создаёт больший объём трафика.

Создание зеркала на основе пиринговой сети должно решить сразу две обе эти проблемы, потому что раздача через пиринговую сеть создаёт большую нагрузку только вначале и потом требует присутствия оригинальной закачки только как резерва с полной копией блоков.

Опасения что процесс боотстрапа клиента пиринговой сети может оказаться слишком долгим можно решить тем что дистр создаст собственную боотстрап ноду которой в клиенте даст найбольший приоритет для получения первоначального списка пиров, но при этом не будет её регистрировать в общем списке боотстрап нод, чтобы для неё не создавалась дополнительная нагрузка.

И так достоинства


  • Получение файлов через ipfs достаточно просто реализовать, для этого даже не нужен отдельный транспорт, просто соответствующая директория указывается как локальный репозитарий.
  • Снижается нагрузка на оригинальный сервер, можно использовать менее дорогое оборудование.
  • Снижается объём трафика на сервере так как основная нагрузка будет распределена по личерам и сидерам и как следствие требуется канал в интернет с меньшей пропускной способностью и требованием к *качеству* интернета что позволит сократить расходы на интернет без создания неудбства пользователям.
  • Упростится создание и регистрация зеркал дистра.
    Для создания зеркала потребуется всего лишь откешировать у себя в клиенте соответствующий адрес, при этом регистрировать такое зеркало не требуется, оно будет участвовать в сети как обычный клиент-сидер сразу после его создания.
  • При этом надо учитывать, что упрощение создания зеркала приведёт к росту числа зеркал, потому что зеркала будут создавать те, кто раньше этого не делал из-за нежелания преодолевать трудности(регистрировать домен, арендовать сервер с надёжным подключением к интернету и всё это оплачивать, зеркало на основе пиринговой сети не нуждается ни в том и ни в другом и может вносить свой вклад в распространение пакетов дистрибутива через домашний канал, так как в пиринговых сетях качество канала к отдельному сидеру не важно, один и тот же фаил может закачиваться от нескольких сидеров паралельно)



П.С. Жалко что пакета с ipfs нет в Debian Buster, пора бы ему появиться.

★★★★★

Последнее исправление: torvn77 (всего исправлений: 8)
Ответ на: комментарий от torvn77

Ну как работает IPFS: контент в сети адресуется его хэшем (пример ссылки я кидал).

Существует возможность создания неизменной ссылки IPNS которая может обновляться, становясь синонимом для разных неизменяемых объектов.

При этом уже в структуре IPFS есть понятие «папки» которая указывает на файлы... то есть если мы обновим один файл в папке - у нас появится новый IPFS-объект файла и новый IPFS-объект папки, на который мы перенаправим свою IPNS-ссылку. Но остальные файлы в папке будут доступны по прежним IPFS-путям и их можно будет получить с клиентов, скачавших эти файлы ранее, когда на них указывала предыдущая версия папки.

Это гораздо эффективнее и удобнее торрентов с их «перехэшированием» без которого ранее скачанные файлы не могут быть розданы в составе нового торрента.

Scondo
()
Ответ на: комментарий от torvn77

Так сделай зеркало репозитория и расшарь сам.

PS: как можно делать ошибку в слоге на который ударение приходится?

mogwai ★★★★★
()
Последнее исправление: mogwai (всего исправлений: 1)
Ответ на: комментарий от mogwai

Троль ты, или безграмотный.

Единственно ьпо поводу сидеров скажу, они будут хотябы по той причине, что если Debian будет раздаваться по ipfs официально то хотябы часть тех, кто его зеркалирует сейчас будут его зеркалировать и по ipfs.
Плюс зеркалировать Debian по ipfs начнут те, кто его хочет зеркалировать, но не зеркалирует так как сейчас это слишком хлопотно.

torvn77 ★★★★★
() автор топика
Ответ на: комментарий от torvn77

Ты и так всё для меня и за меня делаешь, а я пользуюсь и не плачу донаты.

Я вообще гентушник. Но если ты готов реализовать свою собственную идею, я готов держать не только контейнер с дебианом, но и зеркало пакетов.

на 10 Мб/сек

У меня 1Mb/s, и я не жалуюсь.

Ну и весьма вероятно что если будет ipfs или иная децентрализованная сеть то я зеркало сделаю и возьму на себя часть трафика.

Ну так и начни с себя, подними ноду хотя бы с частью пакетов, напиши инструкцию на lorwiki. Для твоей идеи содействие со стороны дистрибутива и участие их инфраструктуры вообще не нужно.

mord0d ★★★★★
()
Ответ на: комментарий от torvn77

Нода от Васяна не взлетит, надо чтобы её организовывал Дебиан.

Нода от дебиана тоже не взлетит, если она не нужна васяну. Чтобы что-то взлетело (или не взлетело, тут пока кот Шрёдингера вырисовывается), нужно вначале попробовать, а не греть зад на диване.

Ну или если тебе просто надо ipfs протестить то могу и сделать, но опыты можно делать и на обычных аниме мультиках, зеркалировать огромный репозитарий пакетов для этого не нужно.

Всякую аниму можно и торрентами раздавать, там контент не меняется годами.

Если я правильно понимаю, то помещать файлы в ноду может только владелец ключа.

Так подписывай своим ключом, подпись пакетов со стороны дистрибутива никто не отменял — сверять ноду с твоим ключом, а чекать пакеты по ключу дистра.

По этому обновлять поднятую мной ноду ты не сможешь, и на оборот.

Ты не прав.

mord0d ★★★★★
()
Ответ на: комментарий от mord0d

Ну так и начни с себя, подними ноду хотя бы с частью пакетов, напиши инструкцию на lorwiki.

Ты понимаешь что предлагаешь держать зеркало человеку, который даже как поместить задачу в cron не знает.
Я не хочу делать ноду с зеркалом сам, потому что обновления в ней будут появляться в самую последнею очередь, это если я скрипт обновления запустить не забуду.
Я могу сделать ноду, но так, чтоб ты или ещё кто посмотрел как это работает и всё и делать я её буду как ламер, долго и мучительно.
Лучше бы это делал тот кто уже во всём этом участвует и ко всей внутреней кухне привычен.

torvn77 ★★★★★
() автор топика
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от torvn77

безграмотный

хотябы
хотябы
Троль

anonymous
()
Ответ на: комментарий от torvn77

На вопросы я отвечать не стану, потому что ответа не знаю. Единственное, по поводу сидеров скажу, что они будут, т.к. зеркала, которые сейчас работают, они продолжат и дальше работать. А про то, что система и сейчас легко может распараллеливать загрузку пакетов, выкачивая их с разных зеркал, я тоже не скажу. Я просто хочу p2p, мне нравится эта идея, а о применимости я думать не хочу.

FTFY

Вместо системы, где зеркало на сотни компьютеров может спокойно калькулятор поддерживать, и поддерживать хоть online, хоть в изолированной сети. Ты предлагаешь городить announce сервера, на которых всё-равно будет лежать копия репозитория, чтобы в случае ухода сидеров не остаться без пакетов. Чтобы что? Чтобы разгрузить сетевое оборудование? Ты ютуб выключи, тогда действительно разгрузишь его.

mogwai ★★★★★
()
Ответ на: комментарий от torvn77

который даже как поместить задачу в cron не знает

Но при этом предлагает организовать распределённое подобие инфраструктуры. Ты или прикидывайся шлангом от начала и до конца, ничего не предлагая, или неси ответственность за напечатанное тобой и действуй до конца, как мужЫк.

Я могу сделать ноду, но так, чтоб ты или ещё кто посмотрел как это работает и всё и делать я её буду как ламер, долго и мучительно.

Начни хотя бы с этого. Скрипты автоматизации и прочий обвес (в том числе для развёртывания ноды) отточатся в процессе эксплуатации.

Лучше бы это делал тот кто уже во всём этом участвует и ко всей внутреней кухне привычен.

И мы возвращаемся к самому началу. Proof of concept где? Или проверять твою [теоретическую] идею должны те, у кого и без этого задач хватает?

Переход Gentoo с cvs на git лежит на одном человеке — Michał Górny (которому помимо этого принадлежит львиная доля коммитов в менеджер пакетов и ещё кучу всякого кода на питоне) — который в одну каску сделал зеркало, хуки и прочее (на инфраструктуре GitHub, но это особой роли не играет). Он не предлагал [кому-то] сделать, он просто взял и попробовал. Больно, трудно, тяжело, но оглядываясь назад — оно того стоило.

mord0d ★★★★★
()

IPFS для пакетов сам напрашивается, тут ты далеко не первый.

Для NixOS можешь отслеживать по https://github.com/NixOS/nix/issues/859

Я было делал реализацию для Gentoo, но потом прекратил разработку, ибо перестал использовать сам Gentoo.

Deleted
()
Ответ на: комментарий от Polugnom

Иди да сделай, предлагатель.

Вот скажи пожалуйста, ты лично будешь обновляться с моей ноды?
Думаю что откажешься, чем только подкрепишь моё подозрение, что накачаю себе на винчестер кучу не нужного, у Debian будет большой расход трафика, потому качать я их буду wget и всяий раз как напортачу перекачивать.
Напишу не нужные скрипты обновления ноды, который любой нормальный админ за пол часа напишет, и при чём сделает это лучше чем я.
И вот всё это будет ровно для того, чтобы увидеть что трафик с моей ноды ровно 0 байт.

И даже если потом это будут делать в Дебиан, то мои скрипты на баше ничем не помогут, потому что будут тупым ламерством.

Так не лучше ли чтобы это сразу создавал и делал тот кто это умеет делать правильно и знает как это делать правильно?

torvn77 ★★★★★
() автор топика
Последнее исправление: torvn77 (всего исправлений: 2)
Ответ на: комментарий от torvn77

мамкин курьер спизднул и слился не успев сделать хоть что-то, со типикал

anonymous
()
Ответ на: комментарий от torvn77

И вот всё это будет ровно для того

Чтобы взять три-четыре виртуалки, обновить их с твоего зеркала, залить на ютуб скринкаст с этим делом и открыть заявку в трэкере дебиана о том, что это не очередной высер гуманитария, а вполне рабочее предложение, мол пруф оф концепт есть, вот адрес моего зеркала, подержу его с годик, а там грохну. Если кто-то посчитает это нужным, запилит нормальную реализацию.

mogwai ★★★★★
()
Последнее исправление: mogwai (всего исправлений: 1)
Ответ на: комментарий от mogwai

Кстати, есть другой вариант. Можешь оплатить кому-нибудь другому рабочее время, чтобы человек твои фантазии на жизнеспособность проверял. goto job

mogwai ★★★★★
()
Ответ на: комментарий от torvn77

Вот скажи пожалуйста, ты лично будешь обновляться с моей ноды?

Ты неправильно понимаешь суть proof of concept.

PoC может быть кривым, убогим, написанным на visual basic — всё это не имеет никакого значения. Суть PoC — предоставить любой пример того, что описываемая тобой идея в принципе может работать.

Deleted
()

при закачке пакета по http

Сама по себе закачка по http не является проблемой, только это нужно правильно делать. Плюс работает в 99% случаев, не требует сторонней муры типа предустановленных актуальных CA сертификатов и прочего.

vasily_pupkin ★★★★★
()

ZeroNet - это самый обычный bittorrent.

и о причине по которой debian в своё время не хотел делать закачку по https по умолчанию.

Причина эта проста - https создаёт большую нагрузку на сервер и создаёт больший объём трафика.

Можно поставить свой сервер.

Quasar ★★★★★
()

Нинужно. Где ты возьмёшь пиринговую сеть? Это будут разве что десктопы, ни один идиот не будет нагружать подобным боевой сервер. Это годится разве что как способ целенаправленного зеркалирования с автоматическим дискавери адресов зеркал со стороны пользователя.

WitcherGeralt ★★
()
Ответ на: комментарий от WitcherGeralt

Это будут разве что десктопы, ни один идиот не будет нагружать подобным боевой сервер.

Для пиринговой сети куча десктопов каждый из которых раздаёт от 20Кбайт будет самое то.
Посмотри как торрент закачивается, один или два пира обеспечивают 70%закачки файла и ещё пиров 15 добавляют всё остальное.
Скость при этом близка к пределу моего канала.

torvn77 ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.