Всем привет! Я долго сопротивлялся, думая что «и так сойдет», но момент настал. Я в целом рандомный эникейщик, но дёрнуло меня собрать сервер для знакомых видеомонтажников на убунте. Делал это всё я первый раз, ранее с linux дел не имел, но было интересно. Сервер на Xeon v4 камне, 20 ядер. вполне приличный, как мне кажется, камушек. 256ГБ ДДР4 памяти. И вот им нужен объем и чтобы быстро по 10G Ethernet тудой-сюдой собирать проект на TV. Файлы все в основном большого размера, ну как… камера мотор… стоп снято. несколько секунд-минут видоса. Внутри сервака стоят 8 по 16ТБ SAS хардов. подключены к SAS-контрольке(по-моему 6G), но в ней не было RAID-уровней кроме 0 и 1(или вообще только 1), поэтому диски пришлось инициализировать каждый по одному и потом в убунте из них создать ZFS-пул. Создано, чтение-запись. всё хорошо. для кэша я в ZFS поменял ARC 1 уровня до 200 гигов. и поставил 5 ssd самсунг pm893 960gb в l2arc. вышло почти 5тб. Их я объединил в программный рэйд0 и создал в пуле соответствующую запись. кэш Online, всё хорошо. Насколько оно попадает в тот или иной кэш мне неизвестно, потому что мне сходу было тяжело разобраться в записях и прочитать их осмысленно. но прирост скорости монтажники почувствовали, на этом я и успокоился. Чуть позже к серваку приросла дисковая полка на 24 диска по 16ТБ, полка SAS, диски все SAS, но и тут гладко не вышло. диски покупались в 2 захода. получилось что первая партия на 144тб с 4К форматом, а остальные без него(не смогли найти идентичных в продаже). LSI MR9286CV-8e отказался создавать всех в один raid6. в итоге вышло как вышло. 144тб и 208тб и в убунте объединены во второй ZFS пул. этот пул - долговременное хранилище. архив, можно сказать. с него читают чтобы выкачать по FTP через файлзиллу и в общем то всё. основной движ в офисе происходит с тех 8 дисков, что стоят напрямую в серваке.
С предысторией я закончил. теперь к сути: когда сервер работает довольно долго (ну, положим… 20 дней), то начинаются какие то сложности со скоростью доступа. Свежезагруженный убунт дает по 10г сети скорость чтения/записи порядка 800 МБ/с через встроенную в davinci resolve прогу-бенчмарк диска. и всем это нравится. монтируется афигенно быстро, сразу 2-3-4 машины используют этот сервак и короче счастье. А вот по прошествии какого то времени начинаются странные странности. то падает чтение, а запись норм. то наоборот. то перестают подгружаться данные в проект. он их видит, но в давинчи передавать отказывает и висит-висит… вчера вот не удалось монтировать монтаж на одной из машин. проект видно, данные по самбе читаются и записываются, с авторизацией проблемы нет, а монтаж просто прекращается не начавшись. проверили что монтаж работает локалФС - локалФС, и локалФС - сервер(но не в обратную сторону).
Короче, я решил спросить совета у тех кто съел собак на тему ZFS. Понятно, что там и сям какие то костыли, и вообще нужно бы всё переделать, поменять IBM serveraid m5110 на что-то с лицензией raid5 и вообще чтобы 12G было. но в момент сборки сервера это прям был мега-ограниченный бюджет, поэтому и собирал это тип(я), которому было по фану, а не спец, которому нужно было многоденег(наверняка). И вот теперь это некий ворох проблем, которые нужно планомерно порешать. С чего начать, где и какими командами изменять параметры ZFS пула для оптимального использования с большими файлами? или лучший вариант это ребут сервера по расписанию? (так вообще кто-то делает или это дичь?)
