LINUX.ORG.RU

Экономное зеркалирование репозитариев Linux


0

1

Когда на предприятии требуется обновлять множество Linux машин, как правило, создают полные зеркала репозитариев, что требует загрузки большого объема данных. Однако в большинстве случаев все пакеты из репозитария не нужны, т.е. при классическом зеркалировании происходит загрузка ненужных пакетов, что "ударяет" по кошельку предприятия.

Для создания "экономных" зеркал репозитариев предлагается использовать сетевую виртуальную файловую систему с кешированием - LftpFS. Она основана на FUSE и всем известном консольном клиенте LFTP, который поддерживает необходимые протоколы FTP, HTTP и работает через различные виды прокси-серверов.

Технология следующая: монтируем каталог репозитария посредством LftpFS (см. документацию), настраиваем доступ по FTP в этот каталог для Linux машин, ну и настраиваем обновление машин с этого ресурса.

В итоге: все машины видят листинг репозитария и загружают только необходимые пакеты, при этом загрузка пакетов происходит один раз с учетом кэширования. Экономия на лицо!

>>> Подробности



Проверено: Shaman007 ()
Ответ на: комментарий от anonymous

Существуют бюджетные учебные заведения в "провинции" (далекооооо за МКАД'ом), которым государство не даёт НИЧЕГО на оплату интернета и т.-к. услуг. Но интернет там нужен, и студентам, и преподавателям. Деньги, зарабатываемые отдельно от бюджетного финансирования не бесконечны, и идут в первую очередь на з/п преподавателям и на оборудование для поддержки учебного процесса, а в последнюю на всё остальное. Так вот для таких как мы и нужна существенная экономия трафика.

У себя изголяюсь другим образом - уже несколько лет самописный скрипт на баше обновляет локальное зеркало только теми пакетами, имена которых указаны явно.

Хотя прогу посмотрю, применение всё равно найдётся.

ximeric
()
Ответ на: комментарий от vit122

> Если открыть фидоконференции, то там встречаются уникумы, которые утверждают что есть места, где нет ващеникакогоинтернетасовсеммлябуду. Если такие существуют, то зачем им зеркала линуксов?

К сожалению таких мест на карте моей Родины известна уйма. Не будем же мы считать интернетом отваливающийся GPRS со скоростью 1 кб/сек ?

Arceny ★★
()

Ой, как много всего можно написать на тему интернета и его доступности в регионах. На примере отдельно взятого моего города Брянска. Казалось бы - обл.центр, полмиллиона жителей, <400 Км до Московии. Так нет. Цены на интернет практически не менялись на протяжении 2.5 лет. Цены на анлимы - заооблачные. Провайдер Центртелеком - абсолютный монополист на медь. Альтернативные провайдеры дают канал альтернативными же способами с мизерной долей покрытия районов. Мечты о анлимах выше 128 кбит так и остаются мечтами, и судя по всему так мечтами и останутся. Хотя может быть.. может быть 2008 год станет годом переломным? Как знать, как знать.

Пока перебиваемся ночным анлимом для физических лиц с 00 до 08 на 128 кбит со стоимостью 354 руб/месяц в дополнение к дневному трафику и абонентской плате за канал.

Стоимость трафика - от 1.0 руб/мб и выше, но меньеш 2 руб/мб практически у всех провайдеров. Скорость зарезают. Кто на 256, кто на побольше. Правда есть некоторые провайдеры с ххорошими скоростями. Но счета потом будут в 5тизначных суммах в рублях.

Arceny ★★
()
Ответ на: комментарий от anonymous

> А что, церковь - синоним продвинутости? Мне казалось, что это признак быдлячести.

Языческий идол-сервер и капище-серверная (одминская) с языческими архаичными обрядами и плясками с бубном круче.

Arceny ★★
()

Товарищи внутри МКАД'а. Скажите честно (вы юр. лицо и вы реально покупаете), как давно у вас появился безлимит для юр.лиц? Потом вспомните когда появился такой же для физ.лиц.

Справка. В 350 км от Москвы безлимиты для физических лиц начали появляться полгода назад. И до сих пор с отвратительным качеством.

Я временами смотрю на цены основных столичных провайдеров. По наблюдениям получается, что не более, как год назад. До этого была стандартная по всей стране ситуация -- цены для юриков чуть ли не на порядок превосходили цены для физиков.

kass
()

всем, кторые "нафиг это надо", объясните (словами "потому, что ..."), зачем мне тащить 18 раз kernel-2.6.9-67.0.1.EL.i686.rpm в 11 метров, если его можно стащить 1 раз (не "а вы чо, типа бедные?", а именно "потому, что..."); зачем мне тащить 16 раз openoffice.org2-calc-2.0.4-5.7.0.3.0.i386.rpm (7,2 Мб) + openoffice.org2-core-2.0.4-5.7.0.3.0.i386.rpm (93 Мб) + openoffice.org2-langpack-ru-2.0.4-5.7.0.3.0.i386.rpm (14,7 Мб) -- остальную мелочёвку я в подсчёт не беру -- если это можно стащить 1 раз?

ладно, про деньги забудем, напишите мне внятную причину, зачем мне это всё тащить на 8 мегабитах (и это я, немало здесь смогут на, максимум, 128 килобитах), если можно 1-й раз -- на 8-ми, а затем на 100? про "ночью" не говорить -- это рабочие станции, и в 5-6 вечера они гасятся.

berrywizard ★★★★★
()
Ответ на: комментарий от true

> Неужели это нельзя в сквиде настроить?

> true (*) (11.01.2008 16:39:05)

я уже отписывался на эту тему (в "админстве"), сквид даже с подрихтованными настройками (с принудительно заданным возрастом контента) как-то далеко не всегда отдаёт из кэша.

berrywizard ★★★★★
()

Чего вы все так уперлись в цены на анлим?

А зачем копировать гигазы пакетов, которые никогда не понадобятся, кто нибудь думал? А как степень готовности зеркала, на которое каждый день надо заливать пару сотен мег ненужного барахла кто нибудь оценивает?

А тут только директорию с метаинформацией репозитария обновил по крону и все, пользуйся...

AVL2 ★★★★★
()
Ответ на: комментарий от AcidumIrae

>Я ваши годы, 5 километров... зимой... в гору... за диском дебиана перся, который мне не дали, т.к. он был в единствнном экземпляре привезен из-за границы, а писалок тогда не было и хозян боялся, что я его поцарапаю...

Вот тож - а то сели жопу оторвать от кресла облом и жалуются что инет дорогой для зеркала которое им и нафиг не нужно, а нужно до [веб]магазина дойти.

r ★★★★★
()
Ответ на: комментарий от skwish

>Даже, если им нужно не более 10% от того, что есть в репозитарии?

Диск купи е-мое! Или это уже некошерно? Я покупаю при наличии анлима чтобы все сразу и побыстрому а с инета толко апдейт.

r ★★★★★
()
Ответ на: комментарий от tenner

>какой провайдер? ни укртелеком, ни воля.

ipnet

r ★★★★★
()
Ответ на: комментарий от skwish

>А если там 100 машин?

ЗАкажи диск/сделай миррор - и непарься. Или договорист с другими админами в области точки обмена трафиком/прова/etc.

>Потому что они солидная контора, которая не экономит не инете?

потому что расходы на обновление зеркала _незначительные_ по сравнению с пользвонием инетом конторой. Если значительные - зеркало им не нужно - не столько там людей сидит чтобы зеркало держать. Доступный критерий?

r ★★★★★
()
Ответ на: комментарий от ximeric

>Так вот для таких как мы и нужна существенная экономия трафика

Для таких как вы не нужны апдейты. Зчачем вы вообще это делаете? Апдейтились бы раз в год с хардового носителя и горя не знали. Или вас вирусы на венде загрызли?:)

r ★★★★★
()
Ответ на: комментарий от anonymous

>А что, церковь - синоним продвинутости? Мне казалось, что это признак быдлячести.

Это то чем отличается деревня от села:)

r ★★★★★
()

Уважаемые участники многостраничного обсуждения!

Для меня этот вопрос актуален.

Спасибо автору за новость.

Если кто-то хочет сказать про меня что-то плохое, поэкономьте своё время - выше уже были сказаны все ругательства, которые я готов выслушать. А я же хочу сэкономить время читателей этого обсуждения, пытающихся выловить здесь что-то полезное.

Ещё раз спасибо автору за новость.

anonymous
()
Ответ на: комментарий от r

>> Потому что они солидная контора, которая не экономит не инете? > потому что расходы на обновление зеркала _незначительные_ по сравнению с пользвонием инетом конторой. Если значительные - зеркало им не нужно - не столько там людей сидит чтобы зеркало держать. Доступный критерий?

Ты так и не объяснил зачем мне KDE4, Gimp, etc регулярно качать, когда они не нужны. Какая разница сколько в масштабах предприятия экономится, главное абсолютная сумма. Ты считаешь, что компания с чистрой прибылью в $1млн легко может просрать $20k и никто при этом ответственен не будет?

Смысл покупать диск, если проще и быстрее с инета скачать? Если деньги есть - это еще не значит, что ими нужно подтираться.

skwish ★★
()
Ответ на: комментарий от skwish

>Ты так и не объяснил зачем мне KDE4, Gimp, etc регулярно качать, когда они не нужны.

Ты их и не будешь качать если они не нужны - потому что зеракло тебе не нужно.

>Ты считаешь, что компания с чистрой прибылью в $1млн легко может просрать $20k и никто при этом ответственен не будет?

двести. я дома качал всеапдейты за прошлый месяц с зюзи 10.3 релиза до последнего апдейта + туча community repositories, и всякие моны ghc и т.д. Четь больше 3GB с _релиза_. Я не знаю - наверное у вас линк через телескоп хаббл если 3-5GB траффика стоит 20K$.

>Смысл покупать диск, если проще и быстрее с инета скачать?

Диск за 5 баксов или инет за 20k$? У тебя что-то с аргументацией не то - с одной стороны инет дорогой с дрругой ты 5$ на диск потратить не желаешь в пользу инета.

r ★★★★★
()
Ответ на: комментарий от r

нет, это всё понятно, диски, зюзя, и т. д.

вы толком объясните, *почему* этой поделкой *не надо* пользоваться, так как из ваших постов следует, что её не нужно использовать ни в коем случае. вот некоторым и интересно -- а почему, собственно?

berrywizard ★★★★★
()

Как самый уважаемый анонимус (lepers, not gay), apollonx, я не читая предыдущих каментов спрашиваю: а че NFS уже отменили?!

anonymous
()

гы-гы-гы. В раше до сих пор на dial-upe сидят. Это как это. Три беды россии - дураки, дороги и х*евая связь на ТА-57.

anonymous
()
Ответ на: комментарий от berrywizard

>вы толком объясните, *почему* этой поделкой *не надо* пользоваться, так как из ваших постов следует, что её не нужно использовать ни в коем случае. вот некоторым и интересно -- а почему, собственно?

Да можно пользоваться - по прямому ее назначению - это кеширующий FTPFS. А озвученная в новости причина высосана из пальца и в купе с аргументами плохоинетчиков вообще лишена смысла - локальные зеркала делают в общем смысле, чтобы улучить доступ к апдейтам в случае дорогих, плохих, далеких каналов и многих локальных пользователей с целью добиться ускорения. А пользовать удаленные файловые системы в случае, когда с каналом жопа - это не "оптимизирует" зеркалирование, а решение прямо противоположное целям создания зеркал.

r ★★★★★
()
Ответ на: комментарий от nu11

> Если предприятие тратит штуку баксов в месяц потому, что у админа руки из жопы и он не может нормально настроить обновление без мегабитного анлима то это не предприятие :)

Это ынтерпрайз.

dm1024 ★★★
()
Ответ на: комментарий от sergej

>А список файлов кешируется?

Обязательно. Настройка параметров кеширования производится в lftp.

biakus
() автор топика
Ответ на: комментарий от Legioner

>оно глючное. правда больше ничего не пробовал, пока лень настраивать.

Баги есть везде. Если не обзываться, а описать баг подробнее, то его можно устранить..

biakus
() автор топика
Ответ на: комментарий от Plazmid

>Если обновляются будут одновременно обе машины и захотят один и тот же пакет? т.е. сначала первая начала прокачивать одновременно со второй? что будет? смутно друг другу файлы будут переписывать?

Обрабатывается вполне нормально.

biakus
() автор топика
Ответ на: комментарий от DNA_Seq

>Только поздно появилось...

Уже скаченное вами можно использовать в качестве кэша (если время модификации файлов совпадает с удаленным).

biakus
() автор топика
Ответ на: комментарий от true

>Неужели это нельзя в сквиде настроить?

Не везде используется SQUID. У нас, например, Cisco CE, где нет возможности определения параметров кэширования per URL.

biakus
() автор топика
Ответ на: комментарий от AcidumIrae

>что это за "предприятие" такое, что по его кошельку "ударяет" загрузка ненужных пакетов? "Вася Пупкин Хоум Интернейшнл Корпорейшн"? :)))

Здесь важна не только экономия, но и требования безопасности..

biakus
() автор топика
Ответ на: комментарий от anonymous

> Вопрос автору: в чём тут отличие от http/ftp proxy?

Кэш можно скопировать с исходной структурой удаленного каталога.

biakus
() автор топика
Ответ на: комментарий от atrus

> И, главное, не только для дистрибутивов. Апдейты, к антивирусам, вообще, всё, что по ftp скачивается можно так закешировать.

Совершенно верно: многие админы занимаются тем что читают новости о выходе новых версий софта, а можно лишь для внутренних пользователей замонтировать удаленный каталог и забыть про обновление.

biakus
() автор топика
Ответ на: комментарий от anonymous

>gentoo+nfs - работает

не везде требования безопасности позволяют NFS

biakus
() автор топика
Ответ на: комментарий от Plazmid

>у LftpFS плюс в том, клиент использует стандартный для него доступ через сервис ftp к примеру. Интересно, а если на зеркале изменится список файлов, а та часть устаревших, что мы закешировали - она видна клиенту? т.е. я про минус того, что: сегодня версия файла 0.1 на зеркале есть, клиент скачивает, завтра на зеркале версия заменяется на 0.2, следующий клиент уже не сможет скачать 0.1, так? т.е. нафига мы кэшировали - не понятно. плохо.

Вы можете эти файлы взять из кеша (если конечно имена файлов разных версий не совпадают). Настроив доступ для пользователей к кэшу.

biakus
() автор топика
Ответ на: комментарий от prizident

> r просто невменяем и несет откровенный бред

Давно уже. Я на его юмористические посты просто не отвечаю, хотя читаю иногда, для поржать.

anonymous
()

В своё время я жил в университетской локалке, где внешний инет был условно-бесплатный, но зато скорость была урезана до 3-х килобайт в секунду, и то с адскими задержками, и то вечерами, когда стадо ломилось в интернеты за порнухой, падала практически до нуля. В универе было только зеркало дебиана (debian.nsu.ru), а я красноглазый гентушник. Так что приходилось объединяться с другими красноглазыми гентушниками, организовывать общие зеркала... Вот в те времена эта штука нам бы помогла, думаю. А местное внутримкадное быдло... оно жизни и не нюхало, поэтому может идти со своим мнением в сад, к девачкам.

anonymous
()

непрощели сделать debmirror на серваке каком-нибудь, с указанием нужных каталогов, и потом просто настроить sourse.list на локальных машинах?

f3ex ★★
()
Ответ на: комментарий от r

> Для таких как вы не нужны апдейты. Зачем вы вообще это делаете?

Существуют обновления, которые исправляют реальные существенные ошибки и добавляют необходимую функциональность.

Не говоря уже о исправлениях безопасности. Мало того, что свой сайт нужно держать под контролем от внешних вредителей, так ещё и внутренние сайты и сетевые службы тоже не стоят без дела. А из ~1000-чи студентов ежегодно находится кто-нибудь, считающий себя "мегахакИром".

ximeric
()
Ответ на: комментарий от r

>> Ты так и не объяснил зачем мне KDE4, Gimp, etc регулярно качать, когда они не нужны. > Ты их и не будешь качать если они не нужны - потому что зеракло тебе не нужно.

Ты предлагаешь таскаться с дисками?

Про $1млн/$20k - цены не про инет, а о важности экономии на любом предприятии. Или вы до ассоциативного мышления не доросли?

skwish ★★
()

Красивое решение

anonymous
()
Ответ на: комментарий от f3ex

> непрощели сделать debmirror на серваке

непрощели, чучельце. debmirror выкачает всё, а сабж выкачает только нужное. иди поссы кровавым поносом, а потом сдохни в корчах.

anonymous
()
Ответ на: комментарий от biakus

>Вы можете эти файлы взять из кеша (если конечно имена файлов разных версий не совпадают). Настроив доступ для пользователей к кэшу.

т.е. по сути получается нужно сделать 2 источника? первый - это mirror-реальный, второй - это кэш.

получается клиентам нужно будет прописать сразу 2 источника получения файлов.

все равно, в дженту для портежей (дистфайлов) к сожалению это может не совсем сработать, по причине того, что каждый ebuild у себя может держать разные источники для закачки исходников, в итоге мы не знаем, в какой момент и когда будем иметь дело с конкретным зеркалом :( обидно.

Хочется конечно с одной стороны иметь инструмент, позволяющий отвязаться от NFS, дабы давать доступ стандартно по фтп... но тут пожалуй нужно самим портежам иметь такую функцию, ибо они сами по себе - специфичны.

Plazmid
()
Ответ на: комментарий от CtrlAltBs

не надо обобщать. Это не москвичи, это дети, причем далеко не только из Москвы.

AVL2 ★★★★★
()
Ответ на: комментарий от r

>Диск купи е-мое! Или это уже некошерно? Я покупаю при наличии анлима чтобы все сразу и побыстрому а с инета толко апдейт.

Заказывать, мучаться с оплатой, отслеживать доставку, ждать курьера или бегать на почту. Зачем, когда есть инет? Просто народ не хочет прокачивать ненужный трафик. Народ хочет данные on-demand, но без повторной загрузки.

AVL2 ★★★★★
()
Ответ на: комментарий от Plazmid

С генту все проще - назначаешь одну тачку главной, подымаешь на ней рсинк и вэб. Остальных обновляешь с нее. п/с/ обновлять (портежи) по крону нет смысла. Обновляться надо тогда когда есть смысл - секурити+новый функционал.

anonymous
()
Ответ на: комментарий от ximeric

>Существуют обновления, которые исправляют реальные существенные ошибки и добавляют необходимую функциональность.

Существует много чего. Пользуйся релизами дистров - там будет минимум ошибок. Он для того вообще и оформляетсмя как релиз. Апдейт делай массвый при выходе следующих версий.

>Не говоря уже о исправлениях безопасности.

Ага - на локальных линкс-десктопах. Им очень важны эти проблемы безопасности в апаче и пыхе.

>Мало того, что свой сайт нужно держать под контролем от внешних вредителей,

Держи. У тебя его ферма держит из ста выставленных голым задом в инет серверов? Да еще держит на таком дерьмовом и дорогом канале? Меня это просто поражает такой противоречивый набор аргументов - сначала инет дорогой и спутники не ловятся, а потом сайты на этом же инете.

> так ещё и внутренние сайты и сетевые службы тоже не стоят без дела.

И их конечно злобно ломает бухгалтер.

>А из ~1000-чи студентов ежегодно находится кто-нибудь, считающий себя "мегахакИром".

Аааа - ясно. Вывод - 3 сервака которые нужно обновлятьи остальное что обновлять не нужно по причине того что нужно переставлять. Зеркало не нужно.

r ★★★★★
()
Ответ на: комментарий от skwish

>Ты предлагаешь таскаться с дисками?

Ты уже реши - или тебе нужен гимп и кеды четыре на следующее утро после релиза или не нужно их ни на чем таскать.

Да и что тут такого? Я думаю _каждый_ из здесь присутствующих инсталит дома линукс отнють не с бутовой дискеты и сетевого репозитария. А вполне себе с болвана. А на на работу что - должностная инструкция не позволяет?

>Про $1млн/$20k - цены не про инет, а о важности экономии на любом предприятии. Или вы до ассоциативного мышления не доросли?

Доросли. Только ассоциации тут неверные - потому и сказал - 200. Кто тебе сказал что _экономия на предприятии_ будет иметь место быть? РАссматриваем описанную тут ситуацию:

1. Канал - дерьмо.
2. Спутник падает.
3. Надо апдейтить OOo + FF + TB - ~200MB.
4. На машине бухгалтерии есть этот OOo, ему говорят update и оно качается 5 часов. В это время бухгалтер бьет баклуши. Сей процесс происходит на всех машинах предприятия. Оное простаивает. С экономил?
4a. Админ приходит ночью чтобы после работы посидеть 5 часов разруливая апдейты. И Так регулярно. Получает оплату за сверхурочные. Ты уже обосновал где трафик будет дешевле зарплаты админа который будет там ночевать, и на поиск новых админов которые не захотят жить на работе ради наблюдения за критичными обновлениями которые надо делать постоянно?

Так что ты сначала докажи сам факт экономии денег в масштабах предприятия, а не доказывай, что если вместо эксковатора купить совковую лопату - то разница будет сэкономлена. Экономи по результатам копания ям доказывать надо.

r ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.