FS / RAID под ivideon server

raid10 из 4 дисков 10-12tb

Линейная запись 600GB в сутки - это 7 мегабайт в секунду, это довольно мало. Подойдёт любой уровень raid (ну кроме raid0, в котором отсутствует R) и ZFS.

И самое главное - все должно храниться на зашифрованном разделе(сейчас нет)

Тем более ZFS. В 0.8 завезли native encryption.

Тем более ZFS. В 0.8 завезли native encryption.

аналог (r)aid0

аналог (r)aid0

Шта?

Raid 0 с ext4 юзай да и всё. Смысл их зеркалировать? Чтобы что? Они же только пишутся, а не читаются. Если будет сбой записи, то это уже ядро виновато будет. У меня был случай когда потоки какой-то магией скрещивались и были помехи в двух файлах. В остальном чеки состояния, и своевременное списание HHD в утиль спасают от багов записи.

Raid 0 с ext4 юзай да и всё. Смысл их зеркалировать? Чтобы что? Они же только пишутся, а не читаются

Шта^2?

Тупой Шталь? Сервер говно, регистратор круть.

Школоте слова не давали.

raid0

при отказе одного диска теряешь всё, нажитое непосильным трудом

raid10 из 4 дисков

вылет одного диска переживёт без проблем. вылет двух - как повезёт, 66% что переживёт

raid5/6

raid6 выдержит вылет любых двух дисков

• 512Gb SSD Intel P4101(m2)

прикольно, но зачем там ssd, если нагрузка минимальная?

ext4

не знаю, сколько файлов пишет твой ivideon и как их размещает. у ext4:

• если непосредственно в каталоге больше ~ 0.5 M файлов, это начинает быть проблемой
• непосредственно в каталоге может быть не больше 64k подкаталогов

проверка ФС на 20 TiB при загрузке возможно будет долгой

Ну, всё, что знал - сказал. у меня нет таких объёмов, обычно до 4 TiB на ФС

И самое главное - все должно храниться на зашифрованном разделе(сейчас нет)

вообще не проблема, бери да шифруй. luks для последовательной записи даст минимальную доп нагрузку на процессор

Raid 0 с ext4 юзай да и всё. Смысл их зеркалировать? Чтобы что?

facepalm. чтобы не уволили как тебя

прикольно, но зачем там ssd, если нагрузка минимальная?

2 небольших партиции можно отдать под ZFS ZIL и L2ARC :)

ZFS

она же вражеская, лучше сразу ntfs-3g

ZFS

1. Хорошо, в какой конфигурации и сколько физических дисков? Если нужно например 20ТБ?

2. Этот сервер также будет являться загрузочным сервером для более 200 узлов(dhcpd,tftpd,nfs), сейчас эту роль выполняют 2 сервера, узлы используют общий корень и фактически дисковой нагрузки нет, все в памяти(16гб хватает с головой). Будет ли мне хватать 64Гб, если я добавлю раздел на zfs для видеонаблюдения? Имеет ли смысл все остальное(систему, корень для сетевой загрузки), перенести на zfs тоже ?

3. Вопрос касается того, как будет вести себя zfs при заполнении 98-99%. Вот тут https://www.serverfocus.org/zfs-best-practices-guide написано что лучше всего не допускать более 80%

не знаю, сколько файлов пишет твой ivideon и как их размещает.

на 4ТБ разделе около 95000 файлов в директориях по 2000шт. файлы размером 50-100М

$ ls
455  457  459  461  463  465  467  469  471  473  475  477  479  481  483  485  487  489  491  493  495  497  499  501  archive.db          events
456  458  460  462  464  466  468  470  472  474  476  478  480  482  484  486  488  490  492  494  496  498  500  502  archive.db-journal

Смотри, берешь 2 такие штуки: SSD ASRock ULTRA QUAD M.2 CARD, потом берешь 8 таких штук: PM983 NGSFF NVME SSD, пихаешь 128gb ecc памяти и собираешь zraid2 (raid6 который)+0.

Для последовательной записи 600 GiB в день. Да, я тоже считаю, что картошку с дачи круче возить на феррари

Да, я тоже считаю, что картошку с дачи круче возить на феррари

поддерживаю. да и потом, запас прочности это же прекрасно.

Вот смотри как было бы неплохо начать:
17 камер - 200ГБ. Будет ещё 20 камер. 30 дней хранения.
200/17*(17+20)
435.29411764705882352939
Это примерно с 37 камер в день в гигабайтах.
200/17*(17+20)*30
13058.82352941176470588170 тоже в гигабайтах.
Это необходимый запас на 30 дней впритык. Учитывая, что наверняка захочется кое-кому в ближайшем будущем ещё камер и нужен какой-никакой резерв на кучу других случаев, то сразу умножай на два. Тебе надо примерно так 24 терабайта. Вот от этого и считай дальше размер дисков и их количество (а значит и количество корзин в сервере/хранилке и так далее).
Ну а какой рейд, и какую фс делать, это уже сам решай в зависимости от того, сколько ты там собираешься проработать и с какой репутацией оттуда уйти.

уместиться в 4x3.5"

Вполне возможно. Тут же примерно как в https://www.youtube.com/watch?v=a27YCMFsob0 ситуация.

ps: и примерно так сейчас (100 камер, на самом деле нет, но плюс-минус 3%)
top - 10:12:47 up 283 days, 17:23, 1 user, load average: 4.37, 4.51, 4.52
Tasks: 573 total, 1 running, 365 sleeping, 0 stopped, 0 zombie
%Cpu(s): 9.0 us, 1.3 sy, 0.0 ni, 88.7 id, 0.3 wa, 0.0 hi, 0.8 si, 0.0 st
KiB Mem : 32590224 total, 218508 free, 3978052 used, 28393664 buff/cache
KiB Swap: 7812092 total, 7768060 free, 44032 used. 28130340 avail Mem
ПО другое для видеорегистрации. Возможно ваше более прожорливое. Процессор:
processor : 10
vendor_id : GenuineIntel
cpu family : 6
model : 85
model name : Intel(R) Xeon(R) Gold 5115 CPU @ 2.40GHz
stepping : 4
cpu MHz : 2326.923
cache size : 14080 KB
cpu cores : 10
Всего два процессора, итого 40 потоков с гипертредингом.

Будет ли мне хватать 64Гб, если я добавлю раздел на zfs для видеонаблюдения?

Да.

Имеет ли смысл все остальное(систему, корень для сетевой загрузки), перенести на zfs тоже ?

Да.

1. Хорошо, в какой конфигурации и сколько физических дисков? Если нужно например 20ТБ?

Это сложный вопрос, всё зависит от важности данных. И нет бюджета и словосочетания «достаточно ли» :)

Если видео важны, то желательно raidz2, но на 4х дисках это будет плохо.

Я бы рассмотрел 8-10 дисковую супермикру с 2.5" (U.2, я так понимаю, не рассматривается из-за цены?). Вариант 4х3.5" + M.2 мне не очень нравится из-за 4х3.5" (мало шпинделей) и 1xM.2 NVME (всего 1 ssd, без резервирования)

2. Этот сервер также будет являться загрузочным сервером для более 200 узлов(dhcpd,tftpd,nfs), сейчас эту роль выполняют 2 сервера, узлы используют общий корень и фактически дисковой нагрузки нет, все в памяти(16гб хватает с головой). Будет ли мне хватать 64Гб, если я добавлю раздел на zfs для видеонаблюдения?

Я сильный не-сторонник так миксовать, но, в принципе, будет работать нормально, да, 64Gb с головой.

Имеет ли смысл все остальное(систему, корень для сетевой загрузки), перенести на zfs тоже ?

Корень для сетевой загрузки - да, несомненно. Что такое «система»? Система, которая грузится на будущем сервере? Сугубо от твоих рук зависит. Лично я до сих пор не сторонник root on zfs.

3. Вопрос касается того, как будет вести себя zfs при заполнении 98-99%. Вот тут https://www.serverfocus.org/zfs-best-practices-guide написано что лучше всего не допускать более 80%

Да, это так. Это у всех CoW FS так. Да и, собственно, для всех FS на HDD это справедливо, т.к. сильно возрастает фрагментация. А уж если SSD (да тем более десктопный), то совсем плохо будет.

Это сложный вопрос, всё зависит от важности данных. И нет бюджета и словосочетания «достаточно ли» :)

Важна бесперебойная работа узлов, которые будут грузиться по сети, на этот случай будет просто резервный сервер полностью настроенный и готовый. По видеонаблюдению внятного ответа дать не могу, вроде бы и не желательно чтобы навернулось, но даже если и пропадут эти записи, убытка не будет. Я поэтому и рассматриваю raid0 на двух хороших дисках, например WD120EFAX.

Корень для сетевой загрузки - да, несомненно. Что такое «система»? Система, которая грузится на будущем сервере? Сугубо от твоих рук зависит. Лично я до сих пор не сторонник root on zfs.

Да имелось в виду root. Все дело в том, что корень тоже нужно шифровать, из-за того что некоторые программы хранят свои пароли в открытом виде в /etc, как например monit - пароль от smtp сервера через который шлются уведомления и т.д. Сейчас так сделано - сервер включается, вводится пароль и он больше не выключается. ИБП с внешней батареей.

Я бы рассмотрел 8-10 дисковую супермикру с 2.5" (U.2, я так понимаю, не рассматривается из-за цены?). Вариант 4х3.5" + M.2 мне не очень нравится из-за 4х3.5" (мало шпинделей) и 1xM.2 NVME (всего 1 ssd, без резервирования)

в этой супермикре 2 х м.2

Нужен именно этот зион 2288 с 5ггц в турбо бусте из-за некоторых специфичных программ которые не умеют в многопоток и были написаны 4 года назад и более не обновлялись и врядли будут. И вот под него не очень много вариантов, конечно можно поставить голд и 3647 платформу, но это совершенно другие деньги и тем более я не вижу смысла этого делать только из-за видеонаблюдения

По видеонаблюдению внятного ответа дать не могу, вроде бы и не желательно чтобы навернулось, но даже если и пропадут эти записи, убытка не будет.

Так может тогда ну его, деньги на новый сервер тратить? :)

даже если и пропадут эти записи

Не «если», а «когда».
C RAID-0 они обязательно пропадут, вопрос лишь в том, когда это случится.

Так может тогда ну его, деньги на новый сервер тратить? :)

Оно больше нужно для замены сервера загрузки потому как я начал замечать что периодически портятся данные и ломаются файлы вот этих специфичных программ, хотя ошибок нет, а ссд меняются на 90% ресурса. Я подозреваю что из-за отсутствия ECC памяти. Видеонаблюдение - ну найду решение - хорошо, нет, ну тоже сойдет. Понятное дело, я хочу сделать свою работу лучше, вот и все.

C RAID-0 они обязательно пропадут, вопрос лишь в том, когда это случится.

Это понятно, но и объем накопителей растет, а цена падает, поэтому и думаю пока что рейд0 (теперь правда к zfs склоняюсь, потому что можно будет его переделать на ходу в рейд10), а потом просто заменить носители(через 1-2года)

3. Вопрос касается того, как будет вести себя zfs при заполнении 98-99%. Вот тут https://www.serverfocus.org/zfs-best-practices-guide написано что лучше всего не допускать более 80%

Да, это так. Это у всех CoW FS так. Да и, собственно, для всех FS на HDD это справедливо, т.к. сильно возрастает фрагментация. А уж если SSD (да тем более десктопный), то совсем плохо будет.

Прочитал то что деградация начнется на 95% в последних версиях zfs

А можно каким то образом ограничить заполнение пула? я сейчас сделал zfs на том что есть и зарезервировал 200Г отдельным томом.

$ sudo zfs list
NAME             USED  AVAIL     REFER  MOUNTPOINT
video            304G  3.21T      104G  /video
video/reserved   192K  3.41T      192K  /reserved

В любом случае, перед тем, как что-либо покупать я все проверю в разных режимах. Вообще насколько я понял, в ситуации с видеонаблюдением, а это линейная запись на диск с удалением самых старых данных, деградации может и не быть потому что фрагментация не должна возникать

Классический хобосвистешь.

Я бы не ставил такое в продакшн без крайней необходимости. Какие конкретно фичи ZFS вам нужны?

Я бы не ставил такое в продакшн без крайней необходимости. Какие конкретно фичи ZFS вам нужны?

Почему? у zfs могут быть какие-то проблемы при заполнении диска?

Конкретно для видеонаблюдения - возможность поменять диск на ходу через zpool replace например, а больше не знаю, наверное никакие

могут быть какие-то проблемы

Может быть основная проблема с малораспространенным/нестандартным решением: когда что-то пойдет не так, вы не сможете это исправить, информацию не нагуглите и помочь вам будет некому.

возможность поменять диск на ходу

Для этого LVM достаточно, даже без рейда.