помогите собрать дисковое хранилище

котором будут храниться фильмы/сериалы которые будут попадать туда с торрентов

сервер с двумя Xeon 5130 @ 2.00GHz

20 gb ddr2-5300f памяти

На кой ляд вот это вот всё туда?

См ZIL для ZFS

zpool add poolname log

Если теги выбраны правильно, то https://www.freenas.org/

чтобы все что идет на запись сначала попадало в него а уже потом сбрасывалось на дисковый массив?

ZIL не так работает, если что.

sync=all

Все что пишется,будет попадать в zil, а потом на блины

что было то было.

пробовал на работе с аналогичными хранилками, до подключения было 300мб/сек, после подключения стало 80мб/сек.

отсюда и вопрос. наверное я чтото делал не так, но вот что?

есть ли возможность както прикрутить этот ссд к уже настроенному серверу так чтобы все что идет на запись сначала попадало в него а уже потом сбрасывалось на дисковый массив?

Это называется «SSD caching». Любая адекватная ОС для сервера «в это» умеет.

это в свойствах тома zfs надо указать?

вотбы примеров ос, софта и настроек чтобы это действительно работало на линейной записи

В смысле «примеров ос»? В FreeBSD это штатными средствами заводится, ЕМНИП. В «линуксе» – тем более (но там, правда, нужно покорячиться с ПО).

Алсо, вкуриваем мануалы (первое, что попалось в «гугле»):

http://onreader.mdl.ru/AdvancedZFS/content/Ch07.html

все прочитал, уже раза два.

и там совет - не делать размер кеша ссд zil больше чем половина/четверть озу. отсюда вопрос - чем мне поможет кеш записи в 5-10гб когда мне надо побыстрому скушать в этот кеш 100гб ?

реально ли этот zil мне поможет при линейной заиписи на диск? фактически у когото это работало так как нужно мне?

Насчёт ZIL: https://www.ixsystems.com/blog/zfs-zil-and-slog-demystified/

ты путаешь l2arc и zil

На кой ляд вот это вот всё туда?

это очень медленный зион. 2 ядра 2 потока на 771(775 сокете). что то из эпохи core 2 duo причем далеко не самое шустрое из них

raid5 или raidz1

при смерти одного из дисков

RAIDZ — это не совсем про отказоустойчивость.

для достижения максимального обьема раздела

Ты уж определись, тебе максимальный объём, или максимальная отказоустойчивость?

Под FreeBSD хватит 32G диска, то есть 64G с двух дисков под RAID-1 (большего и не нужно). Дисковое хранилище стоит собирать отдельно от системы. Также рекомендую отключить locate.

есть ли возможность както прикрутить этот ссд к уже настроенному серверу так чтобы все что идет на запись сначала попадало в него а уже потом сбрасывалось на дисковый массив?

Можешь включить cache (zpool(8) → Cache Devices) на SSD для файлошары, даст некоторый прирост.

чем фринас лучше аналогов на линуксе?

Чем аналоги на Linux лучше FreeNAS?

есть ли возможность както прикрутить этот ссд к уже настроенному серверу так чтобы все что идет на запись сначала попадало в него а уже потом сбрасывалось на дисковый массив?

Что пишешь?

отсюда и вопрос. наверное я чтото делал не так, но вот что?

Использовал SSD не серверного класса? У любой SSD есть кеш для быстрой записи. Дальше начинаются чудеса. Именно по-этому, zil по умолчанию работает только на sync. На async блины будут быстрее чем ssd.

и там совет - не делать размер кеша ссд zil больше чем половина/четверть озу. отсюда вопрос - чем мне поможет кеш записи в 5-10гб когда мне надо побыстрому скушать в этот кеш 100гб ?

Нужно тюнить zfs. Что-то такое в параметрах было. Но тебе реально это не нужно. Это изврат.

1. на запись 500-700мб/сек

Читай маны. Запись в рейды 5/z и 6/z2 лимитируется одним диском

2. на запись 200-250мб/сек

Читай маны. Торренты пишут рандомом, если только их на рейде 0 качать с большим рам кешем.

чтение со скоростью 50мб/сек

Ты так и не прочитал маны

FreeNAS уже переходит на Linux, нет смысла беспокоиться о различиях.

лучше всего взять готовый специализированный дистр

Читай маны. Запись в рейды 5/z и 6/z2 лимитируется одним диском

Ничего себе. Что-то не верится, что в ZFS такая убогая реализация RAID-Z по сравнению с обычными RAID-5 и RAID-6. Это где в манах такое написано?

как-раз именно так он и работает, если что.

RAIDZ — это не совсем про отказоустойчивость.

а про что же оно?

Что-то не верится

И правильно делаешь.

Про то, что уже давно не нужно использовать. :)

1,2) по факту получается больше. вот тупо dd или pv пишет намного быстрее чем на один диск, гдето в 2 раза.

3. да с чтением проблем нет. мне больше 50мб/сек не надо, проблема с записью

очень жаль что я так и не увидел альтернатив zil на ssd. неужели их нет? ос не важно какая, софт в принципе тоже.

вараинты - установи готовый NAS дистр из коробки тоже могу рассмотреть если это твариант РЕАЛЬНО будет работать так как надо мне

Я немного попутал, писал про иопсы. Последовательная скорость как раз в норме. У меня на Z2 Read 790 MB/s, Write 410 MB/s. Просто человек хочет торренты, поэтому такой скорости и не будет.

2шт qlogic 8gb fc контроллера для сервера и рабочей станции

http://linux-iscsi.org/wiki/LIO вот это используется если нужно сделать сторадж из говна и палок из подручных компонентов.

спасибо, почитаю. правда спасибо, первый конкретный пример

был опыт деления 2х портового qlogic-а в разные вм, так вот скорость r/w упиралась в скорость файбера. очень крутая штуковина, таргет, по сути, можно сделать из чего угодно.

А посоныв ойбиэм, хитачи и ко уже в курсе? а то они, поди, и не в курсе, всё продолжают использовать.

домашнего файлового хранилища на котором будут храниться фильмы/сериалы которые будут попадать туда с торрентов. OpenMediaVault + mdadm, зачем тебе дома ломать голову с bsd и zfs?

Продолжают использовать что? Технически не убирать возможность создать raid5, это одна история. Использовать raid50 - в проде, на дисках большого объема - другая.

Есть sync, есть async запись. Какой смысл тебе для torrent использовать sync, я не врубаюсь!

Правда?

Вряд ли, TrueNAS Core обещали поддерживать. Однако SCALE пилят с удивительным усердием, так что всё может быть со временем.

TrueNAS Core обещали поддерживать.

Вот и я поэтому удивился, еще и релиз недавно был, да в ветке мастер у них прям движуха.

Особенностью TrueNAS SCALE стало использование ядра Linux и пакетной базы Debian 11 (Testing)

Хм, действительно, наверное в планах составить конкуренцию OMV в его сигменте.

Сегмент OMV — домашние серверы «из того что было». SCALE — скорее попытка влезть в HCI, то есть коммерческая область. Энтузиасты будут просто бесплатными тестировщиками, как и всегда.

Ну и напомню, что TrueNAS это в первую очередь коммерческий продукт, который сильно страдал от ущербной виртуализации и невозможности нормально использовать Docker.

Использовать raid50 - в проде, на дисках большого объема - другая.

и чем же это другая история? это один из рекомендованных рэйдов для создания динамических пулов. я тут уже неоднократно писал про разницу URE во всяком говне и нормальных дисках, ты бы просветился.

Кидай ссылки, я готов просветиться. :)

https://en.wikipedia.org/wiki/Hard_disk_drive#Error_rates_and_handling

Дальше по BER и URE, думаю, сам найдёшь инфу.