Обзор и установка системы резервного копирования BackupPC.

Хорошая статья. Прочитал по диагонали, вроде нормально.

А этот Чудо-Бэкап на ленту то писать умеет?

Зачем ленты при современных объемах винтов и цене на них? RAID на IDE хардах подешевле лент. накопителя будет...

2anonymous (*) (24.10.2004 23:26:44)
>Зачем ленты при современных объемах винтов и цене на них? RAID на IDE хардах >подешевле лент. накопителя будет...

1. Ну вот будет у вас пожар и ваш бекап сгорит вместе с серверами.
2. Никакой проверки челосности данных на ваших IDE контролерах\винтах. IDE в сервере вообще делать нечего, тем более в таком важном как сервер бекапа.
3. Стоимость мегабайта на винтах выше.
4. Как вы на винтах будете хранить годовой/месячный/недельный бекапы ? Все в одном месте ?


В общем винты это не бекап, а туфта.

1. В соседнем корпусе ставьте. В крайнем случае в помещении не имеющем общей стены с серверной. 2. SuperTrak SX6000 Pro 6-ти канальный RAID 5 не обеспечивает проверки целостности? 3. При относительно небольших объемах? 4. можно скриптами или руками копировать на DVD месечные бекапы и годовые тем более.

SuperTrak SX6000 Pro - глюкавое дерьмо, дешевка с которой никому дел иметь не рекомендую. Лучший способ угробить данные это хранить их на дисковом массиве с этим контроллером. Если уж и смотреть на IDE/SATA RAID5, то либа на Intel, либо на 3ware.
Бекапы на DVD? Да еще месячные/годовые? Не смешите мои тапочки... У DVD слишком маленькая емкость увы.

>1. В соседнем корпусе ставьте. В крайнем случае в помещении не имеющем общей >стены с серверной.
И они что-то говорят про дешевле ? 2-я гермозона стоит сильно дороже чем очень толстая библиотека. Да и не серьезно все это, это не бекап а фигня.
>2. SuperTrak SX6000 Pro 6-ти канальный RAID 5 не обеспечивает проверки >целостности?
Конечно нет, в IDE таких механизмов просто нет.
>3. При относительно небольших объемах?
Да при любых объемах, касеты стоят дешевле чем винты. А уж про надежность/масштабируемость и все остальное и говорить нечего. И что такое "небольшие объемы" ?
>4. можно скриптами или руками копировать на DVD месечные бекапы и годовые тем >более.
Ну много чего можно, скопировать хотя бы 100 гигов на DVD это здохнуть можно.

>Ну много чего можно, скопировать хотя бы 100 гигов на DVD это здохнуть можно.

А на ленту?

P.S. Нет в русском языке приставки "з", пора бы уже запомнить.

> Ну вот будет у вас пожар и ваш бекап сгорит вместе с серверами.

А ленты, типа, не горят? Если уж такие вещи... То можно иметь несколько удалённых бекап-серваков, на которые скрдывать данные... Тем более, что исходящий траффик обычно бесплатен. Хотя для предприятия это не должно иметь значения. Как говорится, владельца феррари не должна волновать цена бензина... ;-)

ЗЫ: А система хорошая, обязательно попользую, хотя задачи у меня куда более скромные... ;-)))

>А на ленту?
Да легко, у меня каждый день по 50-80 гигов на ленту уезжает. А можно заливать сильно больше, благо библотека позволяет :)

Русский язык выучить нельзя, я уже давно сдался :)

>А ленты, типа, не горят?
А ленты ты можешь каждую неделю вынимать и складывать в сейф.

А не проще на DVD лить?

И если вообще так по правильному, то бэкапы не на одном носителе делают, а три копии...

> А не проще на DVD лить?
На DVD вполне можно лить данные конторы "Вяся Пупкин и сыновья", где дай бог десяток пользователей наберется. А вот если надо бекапить хотя бы 20-30 гиг, то ты на DVD их лить замаешся, тут без ленты никак.

> А ленты ты можешь каждую неделю вынимать и складывать в сейф.

Ленты горят, но не подвержены действию высокой температуры? Или сейф какой особый. А кроме того, так не сделаешь бекап полностью автоматическим и от человеческого фактора независящим...

>atrus (*) (25.10.2004 1:10:35)
>Ленты горят, но не подвержены действию высокой температуры? Или сейф какой >особый.
извини конечно. но ты дурак ? не можешь сам додумать, что сейф может стоять в другом здании, про незгараемые шкафы ты наверно тоже не слышал.

>А кроме того, так не сделаешь бекап полностью автоматическим и от человеческого >фактора независящим...
А какие с этим проблемы? У меня например бекап полностью автоматический и ни от кого/чего не зависит.

http://bacula.org/

По повуду бекапа на ленты или IDE-диски:

1) бекап сам по себе не самоцель, важен рестор, а для него очень критична скорость, и IDE-диски безусловно выигрывают.

2) диски - устройсива с произвольным доступом, а ленты с линейным, соответственно с диска можно быстро достать нужный кусок при восстановлении данных

3) при больших объемах бекапа (более терабайта) лент нужно довольно много, и нужна ленточная библиотека, что добавляет в цене.

4) целостность данных обеспечивается с помощью RAID5, для того чтобы данные при передаче (чтении/записи) не испортились нижний (hardware) уровень не должен обеспечивать целостность. Для примера TCP обеспечивает передачу данных и гарантированную их доставку поверх IP, который не гарантирует ничего.

5) опыт показывает что при длительном хранении ленты сыпятся, чтобы не утверждали производители.

6) цена (святое): машина с 2 терабайтами в RAID5 массиве стоит около 4500 USD

7) SATA диски никто не мешает вынимать на ходу и складывать в сейф

Вот так.

Браво! :) Очень правильно написал.

А по поводу DVD-backup:
1. Можно использовать DVD DL (хотя DVD+RW DL еще не видел).
2. Можно использовать двухсторонние (надо переворачивать), недавно за 50руб. купил noname такой.
3. Можно купить много DVD+RW (благо они дешевые, даже скоростные) и писать на несколько DL дисков одновременно.
4. Если диски будут DL/DS, то вместят 18Гб, плюс если это будет в 2-х DVD+RW приводах, то переворачивать придется только 1 раз. А потом храни - не хочу.

Спасибо.

Однако, при наших объемах (больше 10 терабайт), DVD диски замучаешься менять, руками это сделать невозможно, значит нужна DVD-библиотека (jukebox), то есть цена++, и еще скорость доступа довольно низкая если посчитать время на смену DVD диска в библиотеке.

Есть еще одно. Кроме бекапа машины еще и работать должны :) То есть время для бекапа всех машин около 6 часов (с 2:00 до 8:00) пока нагрузка поменьше. Наличие нескольких независимых машин для бекапа позволяет в это время уложиться. Для того чтобы бекап такого объема можно было делать на ленты или DVD понадобится несколько библиотек, а значит цена*N.

> извини конечно. но ты дурак ?

Я это прочёл. :-F~

> про незгараемые шкафы ты наверно тоже не слышал.

Слышал. У меня есть такой, из железа коробка, вот только если вокруг горит всё, он немножко раскалится...

> У меня например бекап полностью автоматический и ни от кого/чего не зависит.

Перефразируя тебя же. Извини пожалуйста, но ты мудак? Или от нечего делать звиздишь? У тебя поностью автоматическая система, корторая таскает заполненные кассеты в другое здание в шкаф? Заказывает и покупает новые? :-F~~~

Ленты можно положть в несгораемый сейф и в банковскую ячейку. Это дешевле, чем строит удалённые бэкап сервера.

Успокойтесь граждане.

Правльные чуваки используют смешанные системы.

Резервное копирование - на быстрые носители (обычно выделенные серверы с IDE дисками).

Архивирование - на ленты (для долговременного хранения).

Ленты стоят дешевле дисков и гораздо более устойчивы к повреждениям. Для теста рекомендую уронить ленту с высоты 1-2 метра на бетонный пол и считать после этого инфу. Винт кидать не рекомендую. Результат известен.

У лент много достоинств и недостатков. Один из крупных недостатков - это низкая скорость.

А че насчет двухэтапного бэкапа - дневной объем на отдельную машину(ы) и потом в течении дня нарезать?

> Ленты стоят дешевле дисков и гораздо более устойчивы к повреждениям. Для теста рекомендую уронить ленту с высоты 1-2 метра на бетонный пол и считать после этого инфу. Винт кидать не рекомендую. Результат известен.

я в ужасе =)) и часто ты своими серваками в футбол играешь?))

>Если уж и смотреть на IDE/SATA RAID5, то либа на Intel, либо на 3ware.

Тогда уж лучче на LSI.

>>Ну много чего можно, скопировать хотя бы 100 гигов на DVD это здохнуть >можно.
>А на ленту?
Несколько минут.

>1) бекап сам по себе не самоцель, важен рестор, а для него очень критична скорость, >и IDE-диски безусловно выигрывают.
какие вы смешные право слово, у вас везде гигабит ? Лента обеспечивает скорость чтениея 15-30 мегов в секнду, этого более чем достаточно.

>2) диски - устройсива с произвольным доступом, а ленты с линейным, >соответственно с диска можно быстро достать нужный кусок при восстановлении >данных
что за бред, время поиска на ленте ~15-20 секунд, про сравнению со временем копирования это не серьезно.

>3) при больших объемах бекапа (более терабайта) лент нужно довольно много, и >нужна ленточная библиотека, что добавляет в цене.
автолоадер на 8 LTO2 стоит ~8K, а это 3.2 терабайта.


>4) целостность данных обеспечивается с помощью RAID5, для того чтобы данные при >передаче (чтении/записи) не испортились нижний (hardware) уровень не должен >обеспечивать целостность.
Буга-га, если во время работы у тебя похереет шлейф (ну пин там какой-нть испортится), то контролер об этом даже не узнает. Так что вы храните ваши деньги на IDE винтах, а мы уж как-нть разберемся.

>5) опыт показывает что при длительном хранении ленты сыпятся, чтобы не >утверждали производители.
Ну понятно дело, что производители дураки, а вы все лучше знаете.

>6) цена (святое): машина с 2 терабайтами в RAID5 массиве стоит около 4500 USD
Библиотека на 3 терабайта стоит 8 и чего ? Будем обсуждать, что ваша машинка пионерское поделие aka гумус, а библиотека + правильный софт это решение.

>7) SATA диски никто не мешает вынимать на ходу и складывать в сейф
Сами берите и складывайте, херня все это, пионерия. Правда мне вот еще один момент не понятен, вы как из рейда собираетесь диски доставать ?

>Слышал. У меня есть такой, из железа коробка, вот только если вокруг горит всё, он >немножко раскалится...

Ну значит у вас не незгораемый шкаф, а гавно. Нормальные сохраняют вещи внутри себя, в зависимоти от класса защиты.

>Перефразируя тебя же. Извини пожалуйста, но ты мудак? Или от нечего делать >звиздишь? У тебя поностью автоматическая система, корторая таскает заполненные >кассеты в другое здание в шкаф? Заказывает и покупает новые? :-F~~~
Касеты я вообще не меняю, для этого библиотека есть и данные она мои хранит долго ибо большая (только по истечению кол-ва использований), но бекап у меня идет в 2 разных датацентра одновременно. Так что мудак вроде как вы :)

Нафига этот спор. У лент одно применение - сотни гигабайт, в ДВД - другое 3-4 Гб. Нельзя же дать одно общее решение для всех. Точно также как и BackupPC не универсальное решение. Есть области и данные где вполне можно ее применять. Не каждый же читающий форум Архивирует БД Альфабанка или МТС.

>я в ужасе =)) и часто ты своими серваками в футбол играешь?))

Я не играю. А вот резервные копии с лентами лучше хранить в разных местах. А доставка в другое место - это уже транспортировка. Я не спорю, что перевозка винта в специальной пластиковой коробке довольно безопасна, но! Винт вещь довольно сложная и вероятность отказа одного из элементов ведет к потере всей инфы. Не, восстановить, конечно, можно... Только стоить это будет от 100 баксов за Гиг. Мдя... Лента в этом отношении вне конкуренции.

Я повторяю еще раз свою мысль, что для оперативного резервирования надо использовать диски, а для долговременного надежного хранения - ленты.

2saper (*) (25.10.2004 2:44:49)

И какой ты знаешь приличный софт для беакапа, который умеет писать на DVD, или даже на cdrw ?

Итого: BackupPC, - неплохой софт для SOHO (Васисуалий Пупкин и Сыновья).
Промышленного решения для датацентра под Linux по прежнему не существует.

Отлично подходит для людей, которые считают бэкап на другой винчестер - верхом надёжности, а DVD - звездой на небе, в плане объёма и скорости доступа.

"Итого: BackupPC, - неплохой софт для SOHO (Васисуалий Пупкин и Сыновья). Промышленного решения для датацентра под Linux по прежнему не существует."

Спасибо за проведенный Вами анализ софта для Линух! В консалтинге вам цены не будет. Такой специалист пропадает....

www.veritas.com
www.arkeia.com
www.amanda.org

вот то, что первое в голову пришло, но уверен что есть и legato и все прочие.

>Итого: BackupPC, - неплохой софт для SOHO (Васисуалий Пупкин и Сыновья). >Промышленного решения для датацентра под Linux по прежнему не существует.

Есть Veritas NetBackup. Только он денег стоит

Да какие там деньги. Я понимаю для серьёзных ОС (AIX, Solaris) - действительно дорогой продукт. Но версия для линукса - копейки.
Ну и возможностей соответственно.

>Нафига этот спор. У лент одно применение - сотни гигабайт, в ДВД - другое 3-4 Гб. Нельзя же дать одно общее решение для всех. Точно также как и BackupPC не универсальное решение. Есть области и данные где вполне можно ее применять. Не каждый же читающий форум Архивирует БД Альфабанка или МТС.

Я читаю этот тред посмеяться над пионЭрами с IDE-RAID, DVD и прочей ересью =)

Вот такая штучка у нас есть...с 4 шкафами Скоро еще одна такая появится... http://www-1.ibm.com/servers/storage/tape/3584/index.html

За 4 дня - около 25 терабайт бэкапа... вы это все будете на IDE и DVD писать? Лол =))

>Да какие там деньги. Я понимаю для серьёзных ОС (AIX, Solaris) - действительно дорогой продукт. Но версия для линукса - копейки. Ну и возможностей соответственно.

Гм. Ну самые важные Oracle, DB2, SAP есть. Lotus Notes, Exchange, MS SQL нету, ну да это дело наживное.

Правда, не совсем под линух но...

OV DataProtector под чпуксом + дисковые агенты под множество платформ и под лин в т.ч + библиотека SDLT (лента под 320 Гб) наращиваемая -> 8

Скорость записи примерно 18 Гиг в сек.

Обсуждать цену хранения _информации_, мне кажется не серьёзно.

Гм. чпукс как раз самая большая проблема в этой цепочке. Тот же NetBackup поддерживает тучу платформ и тучу библиотек

Вашу мерзость (чпукс) еште сами, и другим это гавно не предлагайте.

Эта "мерзость" неплохо поддерживает FC и RAID адаптеры, позволяет работать с "не-детскими" СУБД и семейкой OV, халявна, в конце-концов (ну при покупке железа, есессно :), и на мой скромный взгляд не хуже других, немногочисленных уже, комерческих клоноы юниха.

Согласен, ради одного DataProtectora (в девичестве OmniBack) может и не целесообразно закупать, но при имеющихся мощностях, почему бы и нет?...

>thomas

>Эта "мерзость" неплохо поддерживает FC и RAID адаптеры позволяет >работать с "не-детскими" СУБД и семейкой OV, халявна, в конце-концов >(ну при покупке железа, есессно :),
Вот удивили, а кто этого не делает ?

HPUX это самый сраный юникс из AIX, Solaris, Linux. Он самый дырявый, самый глюкавый, под него меньше всего софта, все на него забили хуй, ну и т.д. И иметь у себя чпукс, это постоянная ебля с собиранием чего-нть открытого, багами в include'ах, memory leak'ами в стандартных библиотеках, ну и т.д. В общем эту срань пользуйте сами, я её врагу не пожалаю.

Ага. И именно поэтому на чпукс проблема найти квалифицированного админа

> Вот удивили, а кто этого не делает ?

К сожалению Linux, даже RHAS :(

> все на него забили ***

А HP об этом знает? ;)

Сборка, тем более "чего-нть открытого", пусть беспокоет девелоперов, а я , втянувшись в тред о резервном копировании, говорю от имени эксплуатационщика, за которым стоит 4-х часовая поддержка хьюлета.

Вопрос выбора между HP, IBM и SUN несколько выходит за рамки, т.к. покупается не OC и даже не железо, а комплексное решение, и сдается мне, что повлиять на это решение, скромый администратор системы резервного хранения не в состоянии.

> thomas

P.S. Вашу точку зрения понял, и думаю, спорить тут не о чем.

>1) бекап сам по себе не самоцель, важен рестор, а для него очень критична скорость, и IDE-диски безусловно выигрывают.

какие вы смешные право слово, у вас везде гигабит ?

Ничего смешного, практически везде гигабит.

Лента обеспечивает скорость чтениея 15-30 мегов в секнду, этого более чем достаточно.

Не достаточно, 80-90 мегов, это кое-что, а вообще конечно все в сеть упирается.

>2) диски - устройсива с произвольным доступом, а ленты с линейным, соответственно с диска можно быстро достать нужный кусок при восстановлении данных.

что за бред, время поиска на ленте ~15-20 секунд, про сравнению со временем копирования это не серьезно.

Серьезно, если тебе надо восстановить 20 файлов по 4k каждый и они рассыпаны по ленте.

>3) при больших объемах бекапа (более терабайта) лент нужно довольно много, и нужна ленточная библиотека, что добавляет в цене.

автолоадер на 8 LTO2 стоит ~8K, а это 3.2 терабайта.

Машина с 4 терабайтами в двух массивах RAID5 стоит ~7000 USD.

>4) целостность данных обеспечивается с помощью RAID5, для того чтобы данные при передаче (чтении/записи) не испортились нижний (hardware) уровень не должен обеспечивать целостность.

Буга-га, если во время работы у тебя похереет шлейф (ну пин там какой-нть испортится), то контролер об этом даже не узнает. Так что вы храните ваши деньги на IDE винтах, а мы уж как-нть разберемся.

А если у тебя на ходу похереет шлейф внутри твоей ленточной библиотеки? И вообще у нас диски SATA и контроллер конечно узнает что шлейф битый, и на RAID5 контрольная сумма не совпадет.

>5) опыт показывает что при длительном хранении ленты сыпятся, чтобы не утверждали производители.

Ну понятно дело, что производители дураки, а вы все лучше знаете.

Неееет, производители не дураки, им свою продукцию надо ПРОДАВАТЬ. А у меня есть печальный опыт.

>6) цена (святое): машина с 2 терабайтами в RAID5 массиве стоит около 4500 USD

Библиотека на 3 терабайта стоит 8 и чего ?

Это которая?

Будем обсуждать, что ваша машинка пионерское поделие aka гумус, а библиотека + правильный софт это решение.

Будем. Именно это и обсуждаем. У меня этих машин почти десяток, и бекап делается каждый день, и объем этого бекапа больше 10 терабайт. Раньше была ленточная библиотека, сдохла от нагрузки, так что мои машинки "пионерское поделие aka гумус" свою задачу выполняют.

>7) SATA диски никто не мешает вынимать на ходу и складывать в сейф

Сами берите и складывайте, херня все это, пионерия.

Берем и складываем. На личности переходить не надо. А то о вашем возрасте и воспитании будут судить предвзято.

Правда мне вот еще один момент не понятен, вы как из рейда собираетесь диски доставать ?

Меняется массив целиком (6 дисков), такая ленточка получается на 2 терабайта :)

> Ага. И именно поэтому на чпукс проблема найти квалифицированного админа

Все дело в волшебных пузырьках (c) :-))

>Не достаточно, 80-90 мегов, это кое-что, а вообще конечно все в сеть >упирается.

ну если вам нужна такая скорость, то смотрите на библиотеки с 2-мя, 3-мя, 4-мя драйвами подключайте её в ваш SAN и работайте. Проблем никаких. Хотя совершенно ясно, что такая скорость поднятия с бекапа нафиг не сдалась в 99% случаев.

>Серьезно, если тебе надо восстановить 20 файлов по 4k каждый и они >рассыпаны по ленте.
Сферичиские кони в вакуме однозначно рулят.

>Машина с 4 терабайтами в двух массивах RAID5 стоит ~7000 USD.
Убогий самосбор от компании "русские сервера" :), нормальные бренды такой гумус просто не производят.

>А если у тебя на ходу похереет шлейф внутри твоей ленточной >библиотеки?
Она об этом узнает, и сообщит об ошибке, что она сломалась. Т.к. она в отличии от супер мега технологии IDE, разработана для серверов, и считает CRC на всех своих шинах. А если вы заикнетесь про ленты, идите сначала почитайте что такое LTO, и сколько % ленты может не читаться, но данные при этом оттуда можно будет спокойно прочитать.

>И вообще у нас диски SATA и контроллер конечно узнает что шлейф >битый, и на RAID5 контрольная сумма не совпадет.
Какой же вы тупой, ну вот потом вы считали 2 фрагмента данных и контольную сумму, посчитали сумму - не сошлось. И откуда контролер узнает какая часть данных битая? IDE это не серверное решение, и говорить тут не о чем.

>Неееет, производители не дураки, им свою продукцию надо ПРОДАВАТЬ. А >у меня есть печальный опыт.
Бедненький, у меня сыпались внешние рейды, горели свичи, висли циски и т.д., но это не значит что они говно.

>Это которая?
HP Autoloader 1/8
http://h71016.www7.hp.com/dstore/ctoBases.asp?oi=E9CED&BEID=19701&SBL...

>Будем. Именно это и обсуждаем. У меня этих машин почти десяток, и >бекап делается каждый день, и объем этого бекапа больше 10 терабайт. >Раньше была ленточная библиотека, сдохла от нагрузки, так что мои >машинки "пионерское поделие aka гумус" свою задачу выполняют.
Купите нормальную ленту под такую нагрузку. Она не сдохнет.

>Берем и складываем. На личности переходить не надо. А то о вашем >возрасте и воспитании будут судить предвзято.
Да наплевать, ну то есть совсем посрать, что обо мне думают пионеры, которые рассуждают о бекапе на IDE.

>Меняется массив целиком (6 дисков), такая ленточка получается на 2 >терабайта :)
Диски по 400 гиговые ставите, молодцы. Нечего сказать. Стоять они 400$ штука, итого стоимость вашего дешевого решения на IDE 6 * 400 = 2400$. Нечего сказать, дешевка.

Короче, пионер, ты свое вранье про SATA диски в сейфе, 10теребайтные бекапы и т.п. рассказывай своим девочкам, они тебе поверят.

> для этого библиотека есть и данные она мои хранит долго ибо большая

Знаю я про такие. Я суть вопроса повторяю: она в соседнее зжание ленты отвозит или сама целиком там стоит? Есил 2, то чем оно от удаленного бекап сервака отличается?