LINUX.ORG.RU

Экономное зеркалирование репозитариев Linux


0

1

Когда на предприятии требуется обновлять множество Linux машин, как правило, создают полные зеркала репозитариев, что требует загрузки большого объема данных. Однако в большинстве случаев все пакеты из репозитария не нужны, т.е. при классическом зеркалировании происходит загрузка ненужных пакетов, что "ударяет" по кошельку предприятия.

Для создания "экономных" зеркал репозитариев предлагается использовать сетевую виртуальную файловую систему с кешированием - LftpFS. Она основана на FUSE и всем известном консольном клиенте LFTP, который поддерживает необходимые протоколы FTP, HTTP и работает через различные виды прокси-серверов.

Технология следующая: монтируем каталог репозитария посредством LftpFS (см. документацию), настраиваем доступ по FTP в этот каталог для Linux машин, ну и настраиваем обновление машин с этого ресурса.

В итоге: все машины видят листинг репозитария и загружают только необходимые пакеты, при этом загрузка пакетов происходит один раз с учетом кэширования. Экономия на лицо!

>>> Подробности



Проверено: Shaman007 ()
Ответ на: комментарий от nu11

>Товарищ пионер знает что такое security updates?

Товарищь пионер знает что даже секурити апдейтс легко ломают систему, и товарищь пионер знаком с тем что они бывают разные, и те которые для локальных тачек (а не серверов в инете) некритичны в смысле апдейтов на следующее утро.

r ★★★★★
()
Ответ на: комментарий от AcidumIrae

>если предприятие, не может себе позволить потрать $500-$1000 в месяц на инет - это не предприятие

Если предприятие тратит штуку баксов в месяц потому, что у админа руки из жопы и он не может нормально настроить обновление без мегабитного анлима то это не предприятие :)

nu11 ★★★★★
()
Ответ на: комментарий от r

> Товарищь пионер знает что даже секурити апдейтс легко ломают систему, и товарищь пионер знаком с тем что они бывают разные, и те которые для локальных тачек (а не серверов в инете) некритичны в смысле апдейтов на следующее утро.

Debian. Security updates. Система не ломалась ни разу. Что я делаю не так?

Arceny ★★
()
Ответ на: комментарий от Arceny

>А ещё замечу что ситуация с интернетом в Украине как ни странно лучше ситуации с интернетом в РФ.

Как ни странно получается да. Я вот был летом в деревне где живет 900 человек, так там своей церкви нет, а инет начиная от модемного и заканчивая спутником - предоставляется. Удивился.

r ★★★★★
()
Ответ на: комментарий от Arceny

>Система не ломалась ни разу. Что я делаю не так?

Никому не нужен?;)

r ★★★★★
()
Ответ на: комментарий от r

>некритичны в смысле апдейтов на следующее утро.

а причем тут утро?

nu11 ★★★★★
()
Ответ на: комментарий от DOKA

>Какой смысл тратить 1000 уе, если их можно не тратить? Смысл фирмы есть зарабатывание денег, а не их трата.

повторюсь, если предприятию критично 1000 уе на инет, то это не предприятие, а soho какое-то :)

AcidumIrae ★★★★★
()
Ответ на: комментарий от nu11

>Если предприятие тратит штуку баксов в месяц потому, что у админа руки из жопы и он не может нормально настроить обновление без мегабитного анлима

предприятие тратит штуку в месяц на мегабитный анлим потому что оно предприятие, и нужен ему инет, а не криворукие админы с костылями и ускорителями инета :)))

AcidumIrae ★★★★★
()
Ответ на: комментарий от AcidumIrae

А soho что - не предприятие ? Директор конторы с 10-20 компами вполне может надавать по жопе админу, который тратит косарь баксов в месяц на обновления системы. А с местными ценами на инет для контор (Екатеринбург) косарь баксов - это всего лишь 15 гиг трафика в месяц. Причем Екатеринбург - это только середина России.

anonymous
()
Ответ на: комментарий от Sargan

http://www.ezilon.com/cgi-bin/jump/jump_search.cgi?cat=1&q=satellite+inte...

товарищь, прошу вас в будущем не поминать боле про инет и Мурманск :)

если уж у Новежких рыбаков на кораблях есть 128К инет - просите у них болванки с зеркалами :)))

AcidumIrae ★★★★★
()
Ответ на: комментарий от r

>> Это тарифы для физических лиц, для корпоративных подобный тариф обойдется в несколько сотен, если не тысяч.

> Это тарифы подключения. Кто подключается - без разницы. ТАм где есть разница - фтопку таких провайдеров.

Тоесть вместо того, чтобы признать свое протупление(или не отвечать дальше), ты пытаешься защитить глупость, несмотря на то, что тебе уже явно указали на то, что такое решение нужно?

anonymous
()

Автор изобрел anonftpsync?

anonymous
()
Ответ на: комментарий от r

> Пилять у меня дома 2MBit unlim за 20EUR - а предприятиям по кошельку ударяет. Где такие предприятия берутся...

За все города не говори, в Киеве все очень хорошо с интернетом. А вот во многих городах России(большинстве, в том числе крупных) до сих пор нету безлимита для юридических лиц. И мегабайт редко когда стоит дешевле 2,5р.(10 центов).

Да и для физических лиц не все так радужно. За 20 евро можно взять максимум 128кб\с

> что это за "предприятие" такое, что по его кошельку "ударяет" загрузка ненужных пакетов? "Вася Пупкин Хоум Интернейшнл Корпорейшн"? :)))

1) читай выше

2) предприятия бывают не только большие. И про муниципалитет не забывает. Такие чаще всего обновляются по одному репозитории в бесплатном сегменте сети

3) загрузку канала тоже учитываем, ага? Интернет существует не только для загрузки пакетов и постинга сообщений на ЛОРе.

> При чем тут мкад? Предприятия которым нужны _мирроры дистрибутивов_ потому что имеют такое количество компов не могут заплатить $100 за 256-512 инет? Это вполне реальная цена за мкадом.

А если предложений просто нету? 100$ это очень хорошая цена, но канал будет узкий. Только спутник, если нужно много трафика.

Дальше читать не стал - бред зажравшихся.

Motiv_studenta ★★
()
Ответ на: комментарий от anonymous

> s/репозитариев/репозиториев/g

Это Вы Алексею Осипову объясните, который в openSUSE ведает локализацией. Не понимает человек, что "репозитОрий" и "депозитАрий" -- вещи разные по назначению (первый -- чтобы брать из него, второй -- чтобы в нём держать подальше от посторонних), а правильная транслитерация слова "repository" -- всё же "репозитОрий". Я это ему объяснить не смог: он упёрся, и всё тут. От него же идут всякие "менеджеры": человек, живущий вне российской языковой среды, не понимает, что для 95% населения России "менеджер" -- бранное слово, обозначающее офисного бездельника и хапугу.

Orlusha ★★★★
()
Ответ на: комментарий от Motiv_studenta

>100$ это очень хорошая цена, но канал будет узкий. Только спутник, если нужно много трафика.

Мы сейчас говорим о обновлении зеркала по ночам или о кваке в интернете для админа? Спутник им не нравится.

r ★★★★★
()

+1 Unlim только 128, что не годится. Трачу на сеть порядка 2K$ в месяц. Других провайдеров нет и не может быть (в АТС их никто не пустит, кабель тянуть мегадорого - мы саи от АТС тянули). Так, что умники с 20$ анлимом идут лесом, если не верите - http://www.donpac.ru/tarifs/internet.html#6

demmsnt
()

Господа!

Создалась идиотская ситуация.

Есть две группы выступающих: одна с Украины, другая из России. Язык (пока) один, А СТРАНЫ РАЗНЫЕ, И СИТУАЦИИ С ИНТЕРНЕТОМ РАЗНЫЕ ДО ПОЛЯРНОСТИ.

Г-н из Ивано-Франсковска, ПОЖАЛУЙСТА, НЕ СУДИТЕ О ТОМ, КАК ДЕЛА С ИНТЕРНЕТОМ В МАНТУРОВО ИЛИ ТУРУХАНСКЕ!!! Российские ребята говорят "плохо" -- значит, плохо!!!

В России МАССА предприятий (вне городов-миллионников), которые едва сводят концы с концами, где доход директора, не говоря уже про работников, исчисляется тысячами рублей (а не долларов и даже не гривен), а безлимитки либо нет совсем (до провайдера сотня-другая км телефонных линий 1930-х годов), либо она стоит запредельных денег. В этой ситуации костыли не от криворукости, а от безногости, если угодно (т.е. по существу).

Поймите это -- и давайте переходить к конструктиву.

Orlusha ★★★★
()
Ответ на: комментарий от Orlusha

>Не понимает человек, что "репозитОрий" и "депозитАрий" -- вещи разные по назначению (первый -- чтобы брать из него, второй -- чтобы в нём держать подальше от посторонних), а правильная транслитерация слова "repository" -- всё же "репозитОрий".

По-английски repository и depositary произносятся одинаково (за исключением первого звука). Или это не английские слова?

Led ★★★☆☆
()
Ответ на: комментарий от Orlusha

Если открыть фидоконференции, то там встречаются уникумы, которые утверждают что есть места, где нет ващеникакогоинтернетасовсеммлябуду. Если такие существуют, то зачем им зеркала линуксов?

vit122
()
Ответ на: комментарий от vit122

>Если такие существуют, то зачем им зеркала линуксов?

+1. Удивление вызывает не наличие мест где с инетом жопа (в их ниличии никто не сомневается), а в том что в таких местах кто-то занимается смозданием зеркал при дороговизне стульев для трудящихся. То есть не совсем понятна целевая аудитория.

BTW: если инет там дерьмовый - у меня вообще сомнения что любой вариант _сетевой FS_ через дерьмовый канал - работоспособный солюшен. Там проблемы встанут не трафик экономить, а каталоги бровзить.

r ★★★★★
()
Ответ на: комментарий от r

> А ты что уже посчитал экономию в 1000$? Ты уверен? Если основной статьей расходов на инет является создание зеркала - откуда там зеркало возьмется? Они что на этом предприятии - изначально не в себе?

А ты почитай цитированный текст. В любом случае, если админ предприятия может удешевить доступ к репозиторию, он обязан это сделать.

DOKA
()
Ответ на: комментарий от Led

> По-английски repository и depositary произносятся одинаково (за исключением первого звука). Или это не английские слова?

Транслитерация строится не по произношению, а по написанию по некоторым формальным правилам, отличным от правил произношения (в частности, немое "r" в транслитерации сохраняется), в результате транслитерация соответствует, если угодно, модифицированной латыни, а не английскому языку. Мы транслитерируем "power" как "пауэр", а не "повер", не "пауа" и не "пауэ" ("пауэрлифтинг" -- название силового упраажнения), хотя с точки зрения англичанина русская трансилитерация будет неблагозвучной.

Если англичанин для проверки перенесёт ударение на проблемный слог, сомнительные буквы будут произнесены правильно. И русская фамилия "Попов" будет транслитерироваться на английский со второй буквой "о", а не "а"!!!

Orlusha ★★★★
()
Ответ на: комментарий от AcidumIrae

> предприятие тратит штуку в месяц на мегабитный анлим потому что оно предприятие, и нужен ему инет, а не криворукие админы с костылями и ускорителями инета :)))

Репозиторий дебиана не вырастает на дереве. Чтобы поднять его уже нужен админ, а если есть репозиторий, значит, очевидно, есть машины, чтобы поддерживать которые, нужен админ.

DOKA
()
Ответ на: комментарий от r

Тоесть логика простая, ну хреновый у вас инте. значит вам вообще IT нафиг не сдалось?

Извините в общем случае диффиренциальные уравнения решения не имеют. Вот хоть ты тресни. Тогда зачем эти идиоты математики искали классы которыее решаются? Зачем численные методы придумывали - вот ведь бараны

demmsnt
()
Ответ на: комментарий от DOKA

>В любом случае, если админ предприятия может удешевить доступ к репозиторию, он обязан это сделать.

Ты уверен что он удешевит его с точки зрения всего бизнеса? Локальный репозитарий перенесет посредством сетевой FS, что в случае с ситуацией дерьмовых каналов которая тут рекламируется перекладывает проблемы авдейта с сервера зеркала, на локальные ющерские тачки.

Так они быстро и безболезненно апдейтились с локального зеркала - которое само обновлялось через скольугодно проблемный канал сколько ему потребуется, а так будут авдейтится через через спутник с норвежского корабля что в слуае обновления OOo говорит вся контора может идти в отпуск на 2 дня. Замечательная получается экономия - заменить 10 минутное локальное обновление оффиса, на многочасовое удаленное через проблемный канал. Да админ на сверхурочных больше денег получит когда будет ночами обновлять юзерские тачки чтобы офис днем не простаивал.

r ★★★★★
()
Ответ на: комментарий от demmsnt

>Тоесть логика простая, ну хреновый у вас инте. значит вам вообще IT нафиг не сдалось?

Моя логика другая - вы найдете организмы которые строят мирроры или пускают надцать юзерских тачек апдейтить операционки, если у них такой дорогой и проблемный инет?

r ★★★★★
()
Ответ на: комментарий от Arceny

>А ещё замечу что ситуация с интернетом в Украине как ни странно лучше ситуации с интернетом в РФ.

Зато со всем остальным - censored :-)

anonymous
()
Ответ на: комментарий от anonymous

>А soho что - не предприятие ?

нет. и зеркало ему не нужно.

>Директор конторы с 10-20 компами вполне может надавать по жопе админу, который тратит косарь баксов в месяц

зеркало не нужно.

>А с местными ценами на инет для контор (Екатеринбург) косарь баксов - это всего лишь 15 гиг трафика в месяц. Причем Екатеринбург - это только середина России.

1. 10-25 гиг трафика (в зависимости от провайдера) http://www.ispreview.ru/companies51.html

2. http://www.ekt.usi.ru/office/ek/internetpd/vdostup/tarif_office/

или возьмите спутник

AcidumIrae ★★★★★
()
Ответ на: комментарий от Orlusha

>Г-н из Ивано-Франсковска, ПОЖАЛУЙСТА, НЕ СУДИТЕ О ТОМ, КАК ДЕЛА С ИНТЕРНЕТОМ В МАНТУРОВО ИЛИ ТУРУХАНСКЕ!!! Российские ребята говорят "плохо" -- значит, плохо!!!

не плачьте пожалуйста. возьмите спутник. я летом на даче пользую сезонный пакет и не плачу ;)

AcidumIrae ★★★★★
()

ну незнаю-незнаю. какую-то ерунду вы все говорите. у нас давно за 30 уе можно анлим двушку взять. p.s. про неудачников из-за мкад'а я не говорю.

anonymous
()
Ответ на: комментарий от DOKA

>Репозиторий дебиана не вырастает на дереве. Чтобы поднять его уже нужен админ, а если есть репозиторий, значит, очевидно, есть машины, чтобы поддерживать которые, нужен админ.

а заказать набор DVD, сделать репозитораий и потом апдейтитиь по мере поступления - не судьба? ;)))

AcidumIrae ★★★★★
()

А если пустить сэкономленные деньги в зарплату админу...

Hagalaz
()

У нас небольшое предприятие 20 человек в сфере ИТ, безлимита для юр. лиц в городе нет вообще, мне оно значит нужно.

Касательно штуки баксов на инет, это вы погорячились, у нас что называется хозрасчет:

прибыль - (налоги + операционные расходы) = моя зарплата,

если операционные расходы это 1000$, то моя зарплата ровно настолько-же меньше. Терять 12 000 $ в год из-за какой-то ..ни, я себе позволить не могу.

anonymous
()
Ответ на: комментарий от Sargan

> Уважаемый r, покажите мне в Мурманском регионе такие цены, с удовольствием возьму....Но максимум чот есть, это 128 за 1500р. и 256 за 3...

Хоть и не меня спрашивали, я все же замечу, что это не "максимум", а минимум, правда, все же 1400.

> ..Для юриков вообще безлимитных тарифов нет, спутник не предлагать, у нас горизонт низковат, и при обильных осадках или плотной облачности канал падает.

Интересно, интересно... Что у Вас падает? SatGate на тарелку 60 см со "спуском" около 60 метров "ловится" и не падает (если рядом нет антенн GSM), 90 или 120 - я вообще молчу. Проверено годами работы.

> И вообще, пора бы уже понять, что мкадом Россия не заканчивается, и разница от региона к региону очень существенная

Этим, которые кроме "к ..., быдло", этого не объяснить.

anonymous
()
Ответ на: комментарий от anonymous

> ну незнаю-незнаю. какую-то ерунду вы все говорите. у нас давно за 30 уе можно анлим двушку взять. p.s. про неудачников из-за мкад'а я не говорю.

Вот пример лимиты, дорвавшейся в столицу, и плюющей теперь на всех, кто _по непонятным ему_ причинам не там же.

anonymous
()
Ответ на: комментарий от anonymous

>если предприятие не может оплатить свой трафик, оно должно умереть!

если Вы не можете оплатить воздух- Вы должны умереть! куда счет слать? :-)

anonymous
()
Ответ на: комментарий от anonymous

> у нас давно за 30 уе можно анлим двушку взять

Один я прочёл это как "анлим девушку"?

anonymous
()
Ответ на: комментарий от Igron

>Москва/Питер - это не Россия :)

в спб не был. а про московию- полностью согласен

откуда в россии у предприятий деньги? нефть- в московии, газ там же, лес, оружие- все там делается и добывается.

anonymous
()
Ответ на: комментарий от anonymous

А ты не думай, что в Москве всё тип-топ. Тут тоже в отдельных районах монополия провайдерская, цены ломят и количество сессий ограничивают. А в 10 километрах от Москвы уже можешь начинать лапу сосать, ибо провайдеры-то есть, но либо не во все районы города тянут, либо и не планируют туда тянуть, потому что просто невыгодно тянуть, скажем, в частный сектор, где одноэтажные дома стоят. И это не мухосранск, это 10 км от Москвы!!!

anonymous
()
Ответ на: комментарий от anonymous

> Россия начинается да? :-)

Именно так :-)

anonymous
()
Ответ на: комментарий от anonymous

>У нас небольшое предприятие 20 человек в сфере ИТ, безлимита для юр. лиц в городе нет вообще, мне оно значит нужно.

это не "предприятие", это soho :)

против маленьких контор ничего не имею :)))

вам на 20 человек нужно зеркало? у меня маленькое soho из 40 чел с 3-мя мегабитными каналами от разных провайдеров и обходимся без зеркала - как мы это так? =8-[ o ]

AcidumIrae ★★★★★
()
Ответ на: комментарий от AcidumIrae

Эх, молодежь :)

Я ваши годы, 5 километров... зимой... в гору... за диском дебиана перся, который мне не дали, т.к. он был в единствнном экземпляре привезен из-за границы, а писалок тогда не было и хозян боялся, что я его поцарапаю... так и остался слаководом - инсталил слаку дискетками на 486 компы. а им тут в "вася пупкин корпорейшн" из 3-х человек целое зеркало дебиана подавай в мухосранск, где и слово-то инет не каждый знает :)

AcidumIrae ★★★★★
()
Ответ на: комментарий от r

> Пилять у меня дома 2MBit unlim за 20EUR - а предприятиям по кошельку ударяет. Где такие предприятия берутся...

Ну а у меня 64k за 25EUR, причем это по местным ценам дешево и реальная средняя скорость ~48k. При этом по истечении лимита безлимитного тарифа (около 5Gb) скорость падает до 32k, на практике где-то до средней в 26k.

Предприятиям проблемно вообще анлим взять - так как юридическое лицо.

skwish ★★
()
Ответ на: комментарий от AcidumIrae

> предприятию, которое экономит на интернете, оный не нужен :)

Даже, если им нужно не более 10% от того, что есть в репозитарии? Тогда и сотрудников надо красной/черной икрой кормить - на них точно нельзя экономить. И в охрану огромного человекоподобного робота купить - пусть компы сторожит.

skwish ★★
()
Ответ на: комментарий от r

> Пилять у меня дома 2MBit unlim за 20EUR - а предприятиям по кошельку ударяет. Где такие предприятия берутся...

какой провайдер? ни укртелеком, ни воля.

tenner
()

Развели тут флейм.

у LftpFS плюс в том, клиент использует стандартный для него доступ через сервис ftp к примеру. Интересно, а если на зеркале изменится список файлов, а та часть устаревших, что мы закешировали - она видна клиенту? т.е. я про минус того, что: сегодня версия файла 0.1 на зеркале есть, клиент скачивает, завтра на зеркале версия заменяется на 0.2, следующий клиент уже не сможет скачать 0.1, так? т.е. нафига мы кэшировали - не понятно. плохо.

с NFS чуть по другому, с дженту на distfiles больше нравится идея с NFS.

Plazmid
()
Ответ на: комментарий от r

> ТАм где _такая дорогая связь_ вам этот прокси не поможет.

Однако инет то нужен и системы обновлять нужно. И с заказчиками общаться. Просто предприятие платит больше.

Вы вообще откуда вылезли? На предприятие 512k. А если там 100 машин?

> обновят в бухгалтерии кеды и бухгалтерия накрылась на пару дней пока админ не вернет все в работоспособное состояние - так что-ли?

Значит админ будет отвечать за это. Не бухгалтера же себе кеды обновлять будут. Отсюда следует еще одна нехитрая вещь : зачем им на свое зеркало тянуть kde4, если они в данный момент не мобираются его использовать? Потому что они солидная контора, которая не экономит не инете?

skwish ★★
()
Ответ на: комментарий от r

> Как ни странно получается да. Я вот был летом в деревне где живет 900 человек, так там своей церкви нет, а инет начиная от модемного и заканчивая спутником - предоставляется. Удивился.

Так вот она - Рублевка. ))

skwish ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.