LINUX.ORG.RU
ФорумAdmin

zol , не всё так хорошо...

 


3

5

И так, сабж:

root@kvm2:~# zpool status -v

...

errors: Permanent errors have been detected in the following files:

        /zroot/kvm1/copy500/copy500.qcow2
        /zroot/kvm2/prd2/prd2.qcow2

Вышибает наглухо тестовые вирт. машинки. Память не ECC. Сперва вышибало одну, затем вообще ни с того, ни с сего, стало вышибать всё подряд.

Всё это случается, только при интенсивном IO.

Буду тестировать на ECC памяти завтра. О результатах - отпишусь. Ну и протестирую память, конечно.

Погнали холиварить..?

В логах всё чисто.

★★★★★

Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от DALDON

Просто мне малость сыкатно, в том плане, что будет если вылетит одновременно две SSD в одном плече.

уже писал поставь по 3 в каждом зеркале, смогут вылетать 2 из 6.

axelroot
()
Ответ на: комментарий от andrew667

Говорю: делай обычный аппаратный RAID-10 на своем адаптеке на 6-10 дисках с ext4/xfs и не занимайся дурью. Бэкап средствами БД на слэйве.

+1

axelroot
()
Ответ на: комментарий от DALDON

Ну, тут возникает вопрос, а чего собственно делать, с файлом в 300 гиг, образа qcow2? Как бекапить его? Куда..? LVM, снепшоты? - Медленно

Опять 25. Прочитай свою тему заново.

Кстати, ты активно говоришь, что brtfs, это ОК. - А ты сам пользуешь её в продакшене?

Я сказал, что для linux лучше выбрать вместо ZOL btrfs, если уж хочется интересных опций. А в продакшн на линукс надо ставить xfs, ext4.

Ой, ну тебя, с твоим rsync, он чтобы эти изменённые блоки найти, лопатит все файлы, разбивая их на кусочки, при том делает он это с двух сторон.

Лопатит целых 2 файла. Не задавался вопросом, как работает аналогичное в ZOL? Use «rsync -av», Duke.

P.S. вкостыливай ZOL и закрывай тему.

andrew667 ★★★★★
()
Ответ на: комментарий от andrew667

С базами есть неприятные нюансы, и бэкапить их снэпшотами никто не рекомендует.

+1

axelroot
()
Ответ на: комментарий от andrew667

Ты же сам первый написал про IOPS.

К тому, что random как раз в iops'ах и измеряется.

EvgGad_303 ★★★★★
()
Ответ на: комментарий от EvgGad_303

Варьируется 512-3000 на порт
This benchmark was done by 44 nodes, using 6.808 TB of memory, with 800 HDDs.

я не в курсе размера буферов на портах, но есть ли смысл в больших буферах если в теории 1 FC шнурок может пропустить около миллиона iops в секунду, т.е. шнурок FC 16G может пропустить через себя почти столько же сколько и кластер из 44 нод в случае с nfs указанном выше.

сцылка на документ - http://www.emulex.com/artifacts/0819c522-f6f0-454a-b86f-156f0ab573e7/demartek...

single-port, enabling 1.2 million IOPS

цитата про - FC 16G: «The Emulex LPe16000B is the fastest generally available FC HBA evaluated by Demartek to date for these tests. The architecture enables all resources to be applied to a single-port, enabling 1.2 million IOPS on a single-port when needed»
axelroot
()
Ответ на: комментарий от andrew667

Лопатит целых 2 файла. Не задавался вопросом, как работает аналогичное в ZOL? Use «rsync -av», Duke.

Zfs хранит таблицу изменённых блоков, и посылает только их. rsync -av -при изменении даже одного байта, будет разбивать 400 гиговый файл на чанки, считать сумму, и посылать изменения. - При том делать это он будет на обоих сторонах.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Во мне ещё плескаются остатки паранои, от того как у меня файлы побились на zfs...

ты же выяснил что дело было в памяти.

если ты ставишь на авто колеса от телеги, то не удивляйся потом, что ты попал в аварию.

axelroot
()
Ответ на: комментарий от axelroot

т.е. шнурок FC 16G может пропустить через себя почти столько же сколько и кластер из 44 нод в случае с nfs указанном выше.

мух с котлетами не мешай. ты думаешь в случае fc тебе понадобится меньшее кол-во шпинделей?
короче, мой посыл был о том, что не надо отдавать одно большое блочное устройство на всех - будет больше проблем, чем профита. ну и про nfs добавил, поскольку у тебя какие-то неправильные представления о ней были. а что спользовать, зависит от текущей инфраструктуры, как правило.

EvgGad_303 ★★★★★
()
Последнее исправление: EvgGad_303 (всего исправлений: 1)
Ответ на: комментарий от axelroot

ты же выяснил что дело было в памяти.

Какая разница что из железа сбоит если файл испорчен во время ЗАПИСИ. Если бы zfs вернула пишущему процессу ошибку во время записи, а не при чтение через неделю — другое дело. А так какое доверие в данном случае к контрольным суммам?

anonymous
()
Ответ на: комментарий от anonymous

Какая разница что из железа сбоит если файл испорчен во время ЗАПИСИ. Если бы zfs вернула пишущему процессу ошибку во время записи, а не при чтение через неделю — другое дело. А так какое доверие в данном случае к контрольным суммам?

слышь, дэбил, иди уже узнай, что такое ecc и зачем оно надо. про необходимость ecc памяти в документации к zfs написано и даже написано почему.

anonymous
()
Ответ на: комментарий от anonymous

Так батхертишь, что даже разлогинился?! Ожидаемо, чё!

anonymous
()
Ответ на: комментарий от DALDON

У HBA больше IOPS'ов, а программа для мониторинга от того же вендора. Но я бы лучше smartd мониторил (что, собственно, и делаю на LSI HBAшках)

Проще поставить RAID железку, поставить на два диска ОС

Я как раз сейчас подобные инсталляции заменяю на linuxraid1 на всех дисках + всё остальное место на дисках в zfs.

Deleted
()
Ответ на: комментарий от DALDON

Я не знаю, в каком именно купе, но у 6805E слишком мало IOPSов для таскания SSD (порядка 30-60k). Для HDD он нормально подходит, для SSD - уже не тащит.

Deleted
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.