LINUX.ORG.RU

Экономное зеркалирование репозитариев Linux


0

1

Когда на предприятии требуется обновлять множество Linux машин, как правило, создают полные зеркала репозитариев, что требует загрузки большого объема данных. Однако в большинстве случаев все пакеты из репозитария не нужны, т.е. при классическом зеркалировании происходит загрузка ненужных пакетов, что "ударяет" по кошельку предприятия.

Для создания "экономных" зеркал репозитариев предлагается использовать сетевую виртуальную файловую систему с кешированием - LftpFS. Она основана на FUSE и всем известном консольном клиенте LFTP, который поддерживает необходимые протоколы FTP, HTTP и работает через различные виды прокси-серверов.

Технология следующая: монтируем каталог репозитария посредством LftpFS (см. документацию), настраиваем доступ по FTP в этот каталог для Linux машин, ну и настраиваем обновление машин с этого ресурса.

В итоге: все машины видят листинг репозитария и загружают только необходимые пакеты, при этом загрузка пакетов происходит один раз с учетом кэширования. Экономия на лицо!

>>> Подробности



Проверено: Shaman007 ()

на лицо -> "налицо" А так - ничего вроде штука, надо бы по ссылке сходить да посмотреть...

JackYF ★★★★
()

А список файлов кешируется?

Для арча можно просто /var/cache/pacman/pkg смонтировать как сетевой диск - пакман прочухает...

sergej ★★★★★
()
Ответ на: комментарий от Deleted

Зачем оно нужно, если есть apt-cacher?

anonymous
()

>т.е. при классическом зеркалировании происходит загрузка ненужных пакетов, что "ударяет" по кошельку предприятия.

Пилять у меня дома 2MBit unlim за 20EUR - а предприятиям по кошельку ударяет. Где такие предприятия берутся...

r ★★★★★
()
Ответ на: комментарий от Deleted

>А для нормальных дистрибов можно использовать apt-proxy ;)

apt-proxy - говно. я испытывал все три: apt-proxy, apt-cacher и approx. Лучше всего - последнее.

anonymous
()
Ответ на: комментарий от r

>> т.е. при классическом зеркалировании происходит загрузка ненужных пакетов, что "ударяет" по кошельку предприятия.

> Пилять у меня дома 2MBit unlim за 20EUR - а предприятиям по кошельку ударяет. Где такие предприятия берутся...

Это тарифы для физических лиц, для корпоративных подобный тариф обойдется в несколько сотен, если не тысяч.

BaBL ★★★★★
()
Ответ на: комментарий от r

> Пилять у меня дома 2MBit unlim за 20EUR - а предприятиям по кошельку ударяет. Где такие предприятия берутся...

В регионах широкополостной анлим предприятиям не доступен.

128 кбит - 3300р + НДС для юрлиц

256 кбит - что-то около 8 или 9 к рублей

Поэтому все сидят по трафику (~ 1руб/мб)

г. Брянск, Российская Федерация

Так что молчал бы ты в тряпочку.

Arceny ★★
()

Если обновляются будут одновременно обе машины и захотят один и тот же пакет? т.е. сначала первая начала прокачивать одновременно со второй? что будет? смутно друг другу файлы будут переписывать?

ну да ладно. А если вместо этого использовать NFS? скажем для дженту монтировать сразу distfiles с сервера при обновлении и вперед, потом отключать и так далее для всех серверов.

Plazmid
()

>Однако в большинстве случаев все пакеты из репозитария не нужны, т.е. при классическом зеркалировании происходит загрузка ненужных пакетов, что "ударяет" по кошельку предприятия.

что это за "предприятие" такое, что по его кошельку "ударяет" загрузка ненужных пакетов? "Вася Пупкин Хоум Интернейшнл Корпорейшн"? :)))

детсад, право ;)

AcidumIrae ★★★★★
()
Ответ на: комментарий от Arceny

>В регионах широкополостной анлим предприятиям не доступен.
...
>Поэтому все сидят по трафику (~ 1руб/мб)

предприятию, которое экономит на интернете, оный не нужен :)

AcidumIrae ★★★★★
()

Красивая идея, надо посмотреть будет.

anonymous
()
Ответ на: комментарий от r

Например на Сахалине. Какое бы ни было предприятие, связь у нас через спутник только. + монополия на рынке телекоммуникацонных услуг.

blackst0ne ★★★★★
()
Ответ на: комментарий от animechaos

>Пилять, жизни за МКАДом нет?

При чем тут мкад? Предприятия которым нужны _мирроры дистрибутивов_ потому что имеют такое количество компов не могут заплатить $100 за 256-512 инет? Это вполне реальная цена за мкадом.

r ★★★★★
()
Ответ на: комментарий от BaBL

>Это тарифы для физических лиц, для корпоративных подобный тариф обойдется в несколько сотен, если не тысяч.

Это тарифы подключения. Кто подключается - без разницы. ТАм где есть разница - фтопку таких провайдеров.

r ★★★★★
()
Ответ на: комментарий от r

> Это тарифы подключения. Кто подключается - без разницы. ТАм где есть разница - фтопку таких провайдеров.

Лол, даже отвечать ничего не буду повылазила тут пионерия

anonymous
()

>при классическом зеркалировании происходит загрузка ненужных пакетов, что "ударяет" по кошельку предприятия.

Это в первую очередь ударяет бесполезной нагрузкой по ограниченной пропускной способности зеркала, которое между прочим вы используете бесплатно, то есть даром. Так ведь нет, только о своём кармане и думают.

anonymous
()
Ответ на: комментарий от r

Уважаемый r, покажите мне в Мурманском регионе такие цены, с удовольствием возьму....Но максимум чот есть, это 128 за 1500р. и 256 за 3....Для юриков вообще безлимитных тарифов нет, спутник не предлагать, у нас горизонт низковат, и при обильных осадках или плотной облачности канал падает. Приходиться покупать по мегабайту, и apt-proxy реально спасает от переплаты. И вообще, пора бы уже понять, что мкадом Россия не заканчивается, и разница от региона к региону очень существенная

Sargan
()
Ответ на: комментарий от Arceny

>Так что молчал бы ты в тряпочку.

Львов,Украина первый попавшийся пров: 256 unlim - $80.

Чернигов,Украина первый попавшийся пров: 1Mb unlim - $100 (corporate net) 5Mb unlim - $130 (corporate net) 10Mb unlim - $160 (corporate net) 100Mb unlim - $240 (corporate net) 256K unlim(opto/radio) - 100$ 512K unlim(opto/radio) - 160$

Это город с 300 тыс населением.

Вы уверены, что _предприятия_ которые содержат _такой большой парк линуксов_, что им нужно создавать _зеркала_ не асилят ~150$ на анлимный канал?

Частные лица не могут конечно тратить $100 на инет, особенно за мкадом - но им и мирроры создавать не надо.

r ★★★★★
()
Ответ на: комментарий от blackst0ne

>Например на Сахалине

С сахалинскими ценами на Инет (посмотрел дальсвязь) лучше вообще DVD+роспочта апдейтится. Тут вопрос вообще в другом. С такими ценами на инет никакой даже умный миррор вообще никто в своем уме делать не будет.

r ★★★★★
()
Ответ на: комментарий от AVL2

>Интересное решение. Быстро, оптимально и несложно.

И особенно работоспособно в случае проблем со связью.

r ★★★★★
()
Ответ на: комментарий от anonymous

Сравните Укранину и Россию терреториально, впомните что до М9 из Мурманска надо еще дотянуться, а на Украине расстояния поменьше, поменьше....а как, правильно с помощью оптики Транстелекома, а стоит аренда канала таких денег, что никакой анлим себя не окупает...Поэтому в Москве 20 баксов зак мегабит...а в Мурманске шиш с маслом.

Sargan
()

Штука, конечно, полезная, но для Дебиана есть Approx.

Misanthrope
()
Ответ на: комментарий от Sargan

>Для юриков вообще безлимитных тарифов нет, спутник не предлагать, у нас горизонт низковат, и при обильных осадках или плотной облачности канал падает.

Какое это все имеет значение длоя организации _локального зеркала_? ТАм где _такая дорогая связь_ вам этот прокси не поможет. Вы вообще уверены что вам надо апдейтить все локальные машины предприятия как только пакеты вылезли в репозитарии? Вот вышли четвертые кеды, в community репозитарии зюзи уже лежат - и я _не буду_ агрейдить их на работе, пока не посмотрю дома. Если юзера предприятия хаотично апгрейдятся при выходе обновлений - это вообще щиза какая-то: обновят в бухгалтерии кеды и бухгалтерия накрылась на пару дней пока админ не вернет все в работоспособное состояние - так что-ли? Эта либа решает проблему которая актуальна только для офигенно узких анлимных каналов - когда просто _долго_ тянуть ненужное. Я допускаю что такие есть. Но у меня сомнения что в 2008 году кто-то делает зеркала на таких каналах.

r ★★★★★
()
Ответ на: комментарий от r

Я вообще не считаю нужным создание полного зеркала репозитория, другое дело если анлим, тогда да, тогда можно, тогжа хоть 10 зеркал. Сам использую apt-proxy. Меня просто задело про тарифы на анлим...И так уже больная мозоль;))А тут опять потоптались;)

Sargan
()
Ответ на: комментарий от r

+1

если предприятие, не может себе позволить потрать $500-$1000 в месяц на инет - это не предприятие, а что-то иное (какая-нибудь конторка из 3-5 человек в однокомнатной квартире, которой зеркала дистров не нужны :)

кто считает это "понтами" - прошу не беспокоиться. спасибо :)

AcidumIrae ★★★★★
()
Ответ на: комментарий от AcidumIrae

Народ, прошу не забывать, что в России интернета не было и никогда не будет. Москва/Питер - это не Россия :)

Igron ★★★★★
()
Ответ на: комментарий от anonymous

> если предприятие не может оплатить свой трафик, оно должно умереть!


Во-первых, предприятие может оплатить свой трафик.
Во-вторых, это не значит, что экономить на трафике, тем более в данном регионе, бесполезное занятие.

blackst0ne ★★★★★
()
Ответ на: комментарий от r

> При чем тут мкад? Предприятия которым нужны _мирроры дистрибутивов_ потому что имеют такое количество компов не могут заплатить $100 за 256-512 инет? Это вполне реальная цена за мкадом.

За МКАДом в пределах скольки км? Пяти?

blackst0ne ★★★★★
()
Ответ на: комментарий от r

> С сахалинскими ценами на Инет (посмотрел дальсвязь) лучше вообще DVD+роспочта апдейтится. Тут вопрос вообще в другом. С такими ценами на инет никакой даже умный миррор вообще никто в своем уме делать не будет.

А что предлагаете делать, если нужно постоянно обновлять несколько десятков машин? Почтой, что ли, на самом деле? :)

blackst0ne ★★★★★
()
Ответ на: комментарий от AcidumIrae

> если предприятие, не может себе позволить потрать $500-$1000 в месяц на инет - это не предприятие

Какой смысл тратить 1000 уе, если их можно не тратить? Смысл фирмы есть зарабатывание денег, а не их трата.

DOKA
()
Ответ на: комментарий от blackst0ne

>А что предлагаете делать, если нужно постоянно обновлять несколько десятков машин? Почтой, что ли, на самом деле? :)

За 36000(x2 для островов)+НДС рублей/128Kbit можно наладить себе канал с DVD раз в 2 недели по почте.

r ★★★★★
()
Ответ на: комментарий от r

>Вы вообще уверены что вам надо апдейтить все локальные машины предприятия как только пакеты вылезли в репозитарии?

Товарищ пионер знает что такое security updates? А 4е кеды и слово "работа" пока не совместимы, сырые еще.

>Если юзера предприятия хаотично апгрейдятся при выходе обновлений

Это работа админа, пользователи вообще не должны иметь доступ к управлению ПО на рабочих машинах.

nu11 ★★★★★
()
Ответ на: комментарий от DOKA

>Какой смысл тратить 1000 уе, если их можно не тратить? Смысл фирмы есть зарабатывание денег, а не их трата.

А ты что уже посчитал экономию в 1000$? Ты уверен? Если основной статьей расходов на инет является создание зеркала - откуда там зеркало возьмется? Они что на этом предприятии - изначально не в себе?

r ★★★★★
()
Ответ на: комментарий от r

> Львов,Украина ...

Ну у нас в городе ~500k народонаселения. За 100-150$ никакого анлима с приемлимой скоростью нет, ещё раз повторю. Такая цена естественно приемлима для мегабитных скоростей.

А ещё замечу что ситуация с интернетом в Украине как ни странно лучше ситуации с интернетом в РФ.

Arceny ★★
()
Ответ на: комментарий от AVL2

> Интересное решение. Быстро, оптимально и несложно.

И, главное, не только для дистрибутивов. Апдейты, к антивирусам, вообще, всё, что по ftp скачивается можно так закешировать.

atrus ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.