ФС

>Для этого надо создавать том, чтобы он находился на двух физических дисках? И делать что-то вроде RAID с чередованием?

stripe. он же raid0 (выше я ошибся, raid1 его обозвал. raid1 - зеркало). Это когда у тебя сектора раздела чередуются на разных винтах.

Минимум - два. (У меня - три).

В LVM для этого нужно, чтобы логическая группа была на двух и более разных винтах и на каждом было достаточно места для 1/N нового раздела (где N - число дисков). Скажем, на трёх винтах выделил по 50Гб на группу томов. Делаешь новый том как:
vgcreate -n my_stripe_volume -L+150G -s3 my_group
"-s3" - и говорит о том, что новый том нужно раскидать на три диска.

Точно также делается и зеркало. Правда, там, ЕМНИП, нужно N+1 разделов (информация о зеркалировании в каких-то мелких масштабах на отдельный раздел пишется для надёжности, правда, этот раздел может быть на одном из винтов, отдающимся в остальном под зеркало - на одном винте у тебя может быть несколько разделов, каждый из которых может быть отдельным физическим томом).

Так зависит от твоей настырности :) Если прямо в C:\WINDOWS срёт много - монтируем C:\WINDOWS на один раздел, а C:\WINDOWS\System32 и т.п. - на другие :)

Жёсткое садо-мазо... :-) Всё-равно, срач в каталоге с системой не уменьшится. Дело не столько в дефраге.

Вроде, нет. Но можно R/O на все файлы прописать ;)

Не то. :-) Там аттрибут чисто формальный. Тогда уж запретить изменение, используя «систему прав». Но, всё-равно, это будет не то. В раздел будет возможно писать. Да и с правами надо будет извращаться, причём, будут меняться даты последнего доступа к файлам, если права наследуются и меняются. Там, короче, проблем не оберёшься. Нет, не торт. :-)

>Но ведь время копирования увеличивается?

Если в фоне будешь мир пересобирать - то да :) А так - всё равно обычно десктопы бОльшую часть времени простаивают. Сколько там процентов io у тебя в нормальном режиме. У меня сейчас 1,9-2,6% - это rtorrent раздаёт в фоне фильмы. Так что копирование будет идти дольше совсем не намного. И в эти часы ты сможешь работать. Или сидеть на ЛОРе :)

Разве, что ФС на новом диске должна быть, как на старом.

Ну да. Это когда без LVM :)

То же самое. Если тянуть физические данные прямо из секторов - то тут вообще ничего не меняется. Если винт совсем умер, то и так, и эдак всё пропадает. Если вопрос геометрии и затирания MBR - то тоже одинаково лечится.

А дополнительные LVM-ные разделы? Ведь ФС «разбросана» поверх их. Уже не будут работать обычные утилиты для работы с ФС. Вначале придётся LVM «поднять». Плюс, ещё один слой, который с успехом может накрыться.

Исключение - stripe. Но тут ты сам знаешь, на что идёшь :)

Да, stripe...

Так что копирование будет идти дольше совсем не намного. И в эти часы ты сможешь работать. Или сидеть на ЛОРе :)

Ну, в принципе, я могу и при обычном копировании это делать. Хотя и будет не очень-то приятно.

Да, блин, время уже... Пойду с ЛОРа. :-)

>Зачем так извращаться, если можно сразу сделать рейд средствами LVM?

А где mirrorlog держишь?

>А дополнительные LVM-ные разделы? Ведь ФС «разбросана» поверх их

Если один логический том лежит на нескольких физических, то при потере такого тома файлы, которые на нём были пропадут. Те, что были на других физических томах - останутся.

Уже не будут работать обычные утилиты для работы с ФС

Так они обычно тупо по физическим секторам смотрят в поисках характерных сигнатур файлов. Тут метод такой же работать будет.

Исключение - если утилита по восстановлению распознает записи для каталогов.

Вначале придётся LVM «поднять». Плюс, ещё один слой, который с успехом может накрыться.

Так можно загрузиться с любого livecd с поддержкой lvm :)

...

Кстати, прикольно. Я выше писал, что у меня вчера процесс копирования /var зависал на попытках flsuh ему делать. Первый раз я тупо не понял, в чём дело и через час ожидания перегрузился. Подумал, что у меня контроллер заглючил, было у меня такое когда-то в некоторых сочетаниях железа. Запустил ещё раз с ionice -c3. Минут через 15 снова перегрузился. Запустил перенос с ключиком -v, verbose. Увидел, что перенесено уже 80% и что оно виснет на /dev/vgs/var :)

System Rescue с флешки у меня почему-то не загрузился. Не смог флешку смонтировать после загрузки ядра. Хотя раньше работало. Ломать голову не стал, нашёл первый попавшийся диск, с Убунтой 10.04. Загрузился с него. С негодованием обнаружил, что на нём нету поддержки LVM. Выкинули. Раньше была :) Однако, apt-get install lvm2 (или как оно там зовётся? Короче, мне при попытке запустить pvmove подсказка выпала), оно поставилось прямо в live-режиме - и всё заработало. Как оказалось, загружался я с Ubuntu зря, к моменту последней перезагрузки всё перенеслось успешно. Т.е., походу, процесс переноса шёл даже на «зависшей» машине...

Загрузился в систему снова, убедился, что группа vgs у меня уже переехала на новый винт и стал переносить 500Гб видео, группу balvg :) При этом не останавливалась раздача торрента, а дочка в соседней комнате смотрела мультики по NFS :)

>Ну, в принципе, я могу и при обычном копировании это делать.

Угу. А если в это время запись в раздел произойдёт? :) Как разруливать будешь? А в R/O перейти тебе те же раздачи p2p не позволят...

А где mirrorlog держишь?

Можно на отдельный томик, но я без него :) --mirrorlog core, кажется.

Правда, mirror у меня только на сервере Авиабазы сейчас. Там два SATA-винта по полтора терабайта. Оба целиком в общей группе томов. Сразу выделен mirror-раздел system на 30Гб, где вся система, stripe-раздел fast на 100Гб для неуникальных данных, остальное - linear. Полтора терабайта выделено, подтора ещё не распределено.

/dev/abvg/fast:
 Timing buffered disk reads:  682 MB in  3.00 seconds = 227.01 MB/sec

Вот mirror почему-то выигрыша в скорости не даёт. Вроде, читал, это в LVM баг такой давний.

Насколько я помню, при использовании corelog, при каждой активации vg производится копирование всей инфы с первого тома на остальные.
Не нервирует?

>Не нервирует?

Это ж боевой сервер :) Когда всё нормально, то он по году без остановки работает, пока хостеру что-нибудь не захочется в электропитании поменять :D

Так что хоть 10 минут будет загружаться - нервировать не будет :)

>Так что хоть 10 минут будет загружаться - нервировать не будет :)

А если на домашнем десктопе, тоже не будет нервировать?

А на домашнем у меня зеркала нет :)

>А на домашнем у меня зеркала нет

Гениально. А если бы было?

>А если бы было?

Тогда бы я и ломал голову. «Преждевременная оптимизация - корень всех бед» ;)

...

У меня на домашнем сервере стоит минимум три винта. Так что вопрос бы и при желании сделать зеркало не возник бы :D

Но если копать и дальше, и предположить, что я бы захотел сделать зеркало на двух винтах с mirrorlog на отдельном разделе, то, я писал выше, наверное, сделал бы его на отдельном разделе одного из винтов :)

>Думаю, не лучший вариант...

Почему?

А я бы сделал обычный mdraid на двух винтах и не парил себе мозги.
Даже с internal bitmap производительность вполне приемлемая.

>А я бы сделал обычный mdraid на двух винтах и не парил себе мозги.

И что бы ты потом делал, когда бы захотел проапгрейдить один из винтов? :) Как раз, твой вариант - это будущая запарка для мозгов ;)

...

Сидел я на mdraid несколько лет назад. Но быстро съехал :)

>И что бы ты потом делал, когда бы захотел проапгрейдить один из винтов?

mdadm -r, замена винта, fdisk, mdadm --add, много раз так делал, а что?

А что, LVM mirror чем-то принципиально отличается в этом плане? Там можно к зеркалируемой vg добавить незеркалируемый pv? Я что-то упустил?

>Там можно к зеркалируемой vg добавить незеркалируемый pv?

Там нет зеркалируемых или незеркалируемых vg. Есть зеркалируемые или нет lv. Т.е. добавляем в vg новый pv, и освобождаем старый pv по pvmove. Всё. Было зеркало на одном винте - стало на другом. И всё в онлайне :)

...

Вон, 1/3 stripe я вчера так переносил.

>Там нет зеркалируемых или незеркалируемых vg. Есть зеркалируемые или нет lv.

Да, точно. Туплю.

добавляем в vg новый pv, и освобождаем старый pv по pvmove

Повторяю, чем это отличается от mdadm? Там тоже можно хоть сотню девайсов в одном RAID1 держать, и добавлять и удалять их на лету. Если диск саташный, а ядро и железо нормальные, никаких проблем с заменой девайса в онлайне там нет.
Разве что blkdev начнет капризничать, но на этот случай есть partprobe. И вообще это к рейду не относится.

>Повторяю, чем это отличается от mdadm?

Тем, что многочасовой перенос можно провести в онлайне, во время работы :)

и добавлять и удалять их на лету

Раньше не умел.

>Тем, что многочасовой перенос можно провести в онлайне, во время работы

Решительно не вижу разницы. Даже ребилд RAID5 (при замене одного из винтов), на котором лежат образа дисков работающих виртуалок, не сильно тормозит их работу (при умеренных нагрузках).
А уж тупое и быстрое добавление/удаление девайса в RAID1 — и подавно.

>Раньше не умел.

Раньше в LVM вообще только линейка и страйп были, причем страйп без возможности замены pv.

В общем, решительно не вижу преимуществ нынешнего LVM mirror над mdraid1. А недостаток налицо — нужно куда-то девать mirrorlog. Примерный аналог в рейде — WIB — необязателен (просто ускоряет восстановление после холодного ребута при записи).

>В общем, решительно не вижу преимуществ нынешнего LVM mirror над mdraid1

Так LVM - это не только (и не столько) mirror ;)

>Так LVM - это не только (и не столько) mirror

А вот эти возможности задействуются очевидным методом — созданием LVM поверх mdraid. LVM хорошо управляет томами, а mdraid предоставляет хороший рейд.

В конце концов, в mdraid тоже есть линейная склейка, но это вовсе не значит, что его можно использовать как менеджер томов.
И если страйпы на базе LVM по плюсам и минусам сравнимы с mdraid0, то зеркала из-за mirrorlog'а сильно проигрывают mdraid1.

>А вот эти возможности задействуются очевидным методом — созданием LVM поверх mdraid

Лишняя сущность только ради mirrorlog'а? Ну, если это кому-то настолько актуально... :)

>Лишняя сущность только ради mirrorlog'а?

Допустим, у нас есть уборщица тетя Глаша. Она хорошо моет полы.
Еще у нас есть много серверов и нам нужен сисадмин.
С этими словами директор приходит к начальнику ОК (или наоборот, не суть важно).
А тот отвечает: «Лишняя сущность! Тетя Глаша отлично справится. Она тоже кнопочки нажимать может, а нанимать отдельного человека только из-за знаний и навыков...».

Аналогия кривая. Ибо зеркало для LVM - совершенно штатный режим :)

Так они обычно тупо по физическим секторам смотрят в поисках характерных сигнатур файлов. Тут метод такой же работать будет.

В смысле «сигнатур файлов»?

Исключение - если утилита по восстановлению распознает записи для каталогов.

А в случае с LVM, одна ФС не может быть разнесена на несколько его разделов и, следовательно, несколько физических разделов?

Так можно загрузиться с любого livecd с поддержкой lvm :)

В том случае, если тома LVM не были повреждены. Хотя, чёрт его знает как там у него всё организовано.

Ломать голову не стал, нашёл первый попавшийся диск, с Убунтой 10.04. Загрузился с него. С негодованием обнаружил, что на нём нету поддержки LVM. Выкинули. Раньше была :)

Винда, такая винда... :-D

Т.е., походу, процесс переноса шёл даже на «зависшей» машине...

Просто слишком много процессорного времени требовал?

Угу. А если в это время запись в раздел произойдёт? :) Как разруливать будешь? А в R/O перейти тебе те же раздачи p2p не позволят...

Я имел ввиду самый обычный cp, не физическое копирование... С предварительным созданием ФС на разделе в который копировать. :-)

«Преждевременная оптимизация - корень всех бед»

Мда, ещё бы почаще об этом вспоминать... :-(

P.S.: Хм... Может и имеет смысл LVM, даже в моём случае. Скорость лишней не бывает. Но, опять же, это RAID с чередованием. Если что-то упадёт, я данные восстановлю... Сомнительно. Даже если это будет HD. Barracuda надёжны. Но он старый. Нельзя за него ручаться. Даже несмотря на то, что SMART не говорит плохого.

Во-первых, про /var и прочее вы не сказали. Они отделены?
Во-вторых, XFS...

Да и я обычно отделяю /usr, хотя это дело вкуса. Но, как-бы, у этого должны быть плюсы... Я знаю, знаю. Уверен. :-)
Потом, отдельный /boot зачем? Обычно, смысла не имеет. Вспоминается что-то про старый BIOS и то, что бут нужно было размещать в первых 1024 секторах, поскольку остальные не адресовались или включать LBA или что-то там. Не помню. Но была проблема давно. :-)
Конечно, иногда это нужно. Но... Сомнительно.
Плюс ext2...

P.S.:
А вы используете LILO, ради любопытства? :-)

>Ибо зеркало для LVM - совершенно штатный режим

Тете Глаше тоже на кнопочки нажимать нетрудно. Штатный режим, так сказать. Да и вообще, с этим даже обезьяна справится.
А если посадить за консоли сто тысяч обезьян, то одна из них таки сделает что-то полезное (например, апач поднимет).

Зеркало в LVM сделано убого. Ну не хочу я ни третий винчестер специально под лог покупать, ни ждать 10 минут при каждой загрузке своего десктопа. Да и серверов это тоже касается.
А если был холодный ребут и и на первом pv оказались некорректные данные? Они тупо скопируются поверх нормальных (может быть) данных на остальных pv.
С внешним логом же получается схема, по надежности соответствующая RAID5 (для нарушения работы lv нужен отказ n-1 винтов), а не RAID1 (для нарушения работы нужен отказ _всех_ винтов).
В общем, зеркалирование в LVM сейчас остается бесполезной побрякушкой.

Я бы честно говоря, тоже оторвал от LVM возможности raid, и снапшоттинга и допилил бы ФС со снапшотами — btrfs и nilfs. Но это все в идеально мире, а в реальном — разброд и шатание... :)

Снапшоты LVM могут быть полезны там, где нет файловой системы вообще. Например, при хранении базы данных прямо на блочном устройстве.

>С внешним логом же получается схема, по надежности соответствующая RAID5 (для нарушения работы lv нужен отказ n-1 винтов)

Замечу, что сравнение с RAID5 справедливо при n=3.
При n>3 надежность все-таки побольше будет.

ZFS же, тут в недавнем треде очень советовали.

Но, как мне сказали, она по-человечески не поддерживается. :-(

Читаю про ext4... Ext3 возможно смонтировать, как ext4. Получается, что есть совместимость структур? И также, возможно, до ext2 её «догнать», удалив журнал? :-D Или, всё-таки, нет?

Ок, снапшиты оставим, но модульно, т.е. при наличии соответствующей возможности у ФС — фича не включается по умолчанию.

Так енто, кто что скажет по ФС ещё? Про JFS что хорошего или плохого? И особенно про ZFS, возможно ли её использовать, как родную?

/var не отделено - на ноутбуке не вижу в этом особого смысла

отдельный /boot(ext2) - для того, чтобы на корень можно быть ставить любую ФС(в пределах размуного), тк grub вроде не со всех ФС умеет загружаться

использую сообственно grub

забыл главную причину отдельного /boot - всё остальное зашифровано dm_crypt

/var не отделено - на ноутбуке не вижу в этом особого смысла

Думаю, что это, в любом случае, имеет смысл. /var содержит модифицируемые данные, логи, например, те же, а / - нет. Т.е., / возможно будет примонтировать, как ro. Это влияет на безопасность. Исключает возможность переполнения (хотя она и так не велика), уменьшает фрагментацию (всё-равно, пусть и несерьёзно, но это может влиять на скорость работы). К тому же, /var возможно вынести на другой диск. Это точно влияет на скорость работы. Ну и т.д.

отдельный /boot(ext2) - для того, чтобы на корень можно быть ставить любую ФС(в пределах размуного), тк grub вроде не со всех ФС умеет загружаться

Так енто, а зачем его выделять /boot, если несколько ОС? Пусть, даже, это Linux's.

забыл главную причину отдельного /boot - всё остальное зашифровано dm_crypt

А, теперь понятно...

Про JFS что хорошего или плохого?

Средняя по всем параметрам, любит фрагментироваться, легко выдерживает нештатные отключения.

О, стормозил. Любую ФС. Понятно... Но, по крайней мере, ext'ы и reiser он поддерживает. А так... Не думаю, что на корне будет ФС не поддерживаемая grub. ReiserFS, как у вас, точно поддерживается. :-)

P.S.: Кстати, а имеет ли смысл шифровать корень? И, вообще, dm_crypt работает достаточно быстро? А если вдруг что-то грохнется..?

Хм... Её кто-нибудь использует? А насчёт ZFS?

Кстати, а swap тоже шифруется?

Тут кто-то говорил, что NILFS не стоит ставить. Любопытный тест (особенно, где проверяются вставки на SQLLite): http://zenux.ru/articles/2/

Кстати, а имеет ли смысл шифровать корень?

Да, если ты параноик. Я шифрую.

И, вообще, dm_crypt работает достаточно быстро?

От процессора и алгоритма шифрования зависит. У меня потеря скорости при записи на диск около 10%, т.е. практически незаметна.

А если вдруг что-то грохнется..?

Use backups, Luke!

Хм... Её кто-нибудь использует?

Наверно. Ищи в интернетах по словам «30 дней с jfs» — неплохой обзор-тест.

А насчёт ZFS?

Не нужно же :D