Чем отличаются серверный SATA HDD от того что для обычных компьютеров.

Брякну наобум. Может потому что на сервере обычно массивы и вылет диска не так критичен как на ПК. Возможно качество может быть похуже. Это я просто так ляпнул ))

1. смотри характеристики в даташите на сайте производителя, возможно по ним будет понятно

2. смотри рекомендуемую цену на сайте производителя

3. посмотри в amazon цены на них, может это локальные проблемы местных магазинов, типа серверные диски были закуплены до падения курса, а пользовательские – после.

Серверный SATA HDD на 12Тб WD Ultrastar DC HC520 стоит дешевле

Разные поколения скорее всего. Смотри скорость чтения/записи, размер кэша.

Может быть «refurbished», это когда б/у но восстановленное производителем. Может быть просто неудачная серия, которую отзывали из-за массовых сбоев.

Почитал отзывы про эти накопители. Вычитал что вроде как те что для обычных ПК более тихие. Также вычитал что у серверного DC HC520 нет функции автоматической парковки головок, а как это влияет на долговечность накопителя не знаю. Ищу дальше какую нибудь информацию.

Разные поколения скорее всего.

Поколения действительно разные, DC HC520 уже года четыре точно а может и больше снят с производства.

DC HC520 уже года четыре точно а может и больше снят с производства.

Что то я не там прочитал, не про ту модель. Не снят с производства DC HC520, извиняюсь.

В общем почитал на сайте производителя про модели WD Ultrastar DC HC520 и WD Red Plus и выяснилось что WD Ultrastar производитель позиционирует действительно как серверный, а WD Red для настольных компьютеров. Кроме того на серверный накопитель производитель дает гарантию 5 лет, а обычный 3 года, а так же параметр

Количество неисправимых ошибок на число прочитанных бит

у серверного 1 in 10^15 , а у обычного < 1 на 10^14, т.е. на порядок
и еще:
у обычного наработка на отказ миллион часов, у серверного два с половиной
у обычного уровень шум указан, а у серверного нет, там это видимо не особо важно.
у обычного указано энергопотребление в режиме «чтение/запись» «режим простоя» «режим ожидания и сна», а у серверного не указано энергопотребление в режиме сна, видимо правду люди писали про отсутствие авто парковки головок у серверного. А так ли плохо отсутствие этой авто парковки? А может хорошо? Ведь у обычного накопителя в разделе надежность написано

Количество операций парковки 600000

Короче я вроде как склоняюсь к серверному, т.к. уровень шума меня не сильно заботит, компьютер стоит в мастерской в который я собираюсь его поставить, и энергопотребление меня тоже не сильно волнует и кроме того он дешевле. Правда вот бесперебойником наверное тогда придется обзавестись, плохо ведь если свет вырубят, а головки не запаркованы.

По даташитам немного отличается рабочий диапазон температур, шум и сильно отличается потребление в режиме ожидания(idle) https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/data-center-drives/ultrastar-dc-hc500-series/data-sheet-ultrastar-dc-hc520.pdf

https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/internal-drives/wd-red-plus-hdd/product-brief-western-digital-wd-red-plus-hdd.pdf

сильно отличается потребление в режиме ожидания(idle)

несколько ватт это сильно? Если бы хотя бы ватт 100 я бы еще посчитал во сколько рублей в сутки это выйдет.

а WD Red для настольных компьютеров.

WD Red (Plus) всегда для NAS на несколько шпинделей позиционировались, а не для настольных компьютеров.

Разве? WD Red (Plus) всегда для NAS на несколько шпинделей позиционировались, а не для настольных компьютеров.

Наверное вы правы. Сбила меня с толку строчка

WD Red и диски для настольных компьютеров

на сайте производителя. Наверное потому что я не знаю что такое NAS, но я исправлюсь)))

Да, это в разы. То что вас этот параметр не беспокоит это ваше дело. В изначальном вопросе это не оговорено

вычитал что у серверного DC HC520 нет функции автоматической парковки головок, а как это влияет на долговечность накопителя

Если комп никогда не выключать - то очень хорошо влияет.

Диски, предназначенные для NAS возвращают ошибки быстрее.

Скорее для RAID (а ещё точнее - для «redundant setups»).

По идее, такое поведение должно отключаться, но могут быть особенности.

WD это называет TLER (time limited error recovery), я так понимаю - гвоздями забито в прошивку и не отключается, по крайней мере я ни разу не сталкивался.

Серверный жёсткий диск в комп (комментарий)

Если комп никогда не выключать - то очень хорошо влияет.

В общем то я так и думал, что положительно, но под автоматической парковкой головок я понимаю автоматическую парковку когда накопитель бездействует, но включен. А ваш ответ натолкнул меня на мысль - А не полностью ли там отсутствует парковка? Ну в круглосуточном режиме работы на сервере пусть она не нужна, но ведь иногда нужно снять накопитель для транспортировки, и головки должны быть запаркованы по идее, а не находиться над диском. Значит по идее должна быть ручная парковка, какая нибудь команда чтоли, которая паркует головки во время выключения?

По факту - последние Голды автопаркуются. Раздражает, но победить я не смог :( Но у меня есть complications в виде старенького HW RAID который не позволяет пробросить произвольные команды на диск.

Почему так и чем же они отличаются?

У них заявлен больший ресурс и меньшее кол-во фейлов на выпускаемый объём единиц. Увлекался одно время серверными HGST, в том числе один приобретал для личного использования (бекапы). По-моему опыту штуки бессмертные, крайне доволен и тот что мой личный до сих пор (сам не помню сколько лет) в работе. Ещё за парочку знаю судьбу, пропахали ещё дольше и с куда большими нагрузками, живы здоровы, перенесли даже не очень долговременный перегрев. Не жалею ни чужих, ни своих потраченных на эти железяки денег.

Читая отзывы о накопителе DC HC520 встречал несколько упоминаний от разных людей о том что у нового диска только что купленного когда его крутишь в руках как будто внутри что то брякает. Причем когда его подключали было все хорошо. Не головки ли это которые не запаркованы?

В том, что можно заметить - обработкой ошибок. Когда «серверному» не нравится какой-то сектор, он его помечает битым и работает дальше, а консумерский будет его дрочить до посинения. Сделано это по двум причинам:

• «серверные» всегда в массивах, и ценность информации в одном секторе там околонулевая, зато если диск будет дрочить в попытках сектор использовать, просядет перфоманс всего массива;
• консумерские обычно стоят по одному, и ценность информации там выше, а на перфоманс пофигу, лишь бы прочиталось.

Но могу отметить печальную тенденцию - последние серии «серверных» SATA-дисков HPE (которые суть ребрендированные других производителей) - поведение стало чисто «консумерским» уже несколько лет. SAS-диски эта тенденция пока что не затронула.

«серверные» всегда в массивах, и ценность информации в одном секторе там околонулевая, зато если диск будет дрочить в попытках сектор использовать, просядет перфоманс всего массива;

hard-raid имеет такой параметр, как время ответа диска, и если диск будет пытаться слишком долго прочитать сектор, то raid скажет, что диск отвалился, и рейд деградирует. Поэтому тут действительно важно, чтобы было фиксированное время ответа, и лучше пометить сектор как проблемный (но он сразу бэдом не станет), чем пытаться его читать и читать. Лет 15-20 назад я такого знатно хлебнул, когда на обычных дисках железный рейд держал, потом когда разобрался, то заменил на WD Black Raid Edition…

PS: тогда я вообще полное бинго словил, железный рейд был на WD Green, у которых была проблема с парковкой (делалась каждые 3 секунды), это я обнаружил уже когда первый диск собрал 600.000+ парковок и помер.

железный рейд был на WD Green

это было прям в яблочко :-D

raid скажет, что диск отвалился, и рейд деградирует

Не самое страшное. Сейчас дефолты всюду достаточно большие. Страшно, когда у тебя такой дрочливый диск роняет перформанс всго массива на чем-то latency-critical. У нас как-то было, взяли ноду с хадупа из кучи сата-дисков, и заткнули ей дырку в капасити гипервизоров в лабе. Когда один из 12 саташных дисков начал сыпаться, весь RAID10 превратился в USB 1.1 флэшку, и ВМки ессно повисли (ну как повисли… просто мигрировали в Ээээстонию).

А если бы он был нормальным рейдориентированным, он бы просто выпал и его хотсвапнули.

плохо ведь если свет вырубят, а головки не запаркованы.

Это немножко не про это. Парковка всегда происходит при отключении питания, но у десктопного варианта они автоматом паркуются и при засыпании, которое в серверном отключено.

Сейчас HDD под перформанс брать очень странно. А раньше – да, это тоже сильно жизнь портило.

Это немножко не про это. Парковка всегда происходит при отключении питания, но у десктопного варианта они автоматом паркуются и при засыпании, которое в серверном отключено.

Это я так и представлял, что при завершении работы в штатном режиме, головки должны парковатся. Я уж не знаю кто отправляет команду накопителю для парковки головок система или контроллер перед тем как отключается питание. Т.е. я имел ввиду что если я буду использовать компьютер как и раньше включил выключил, то с парковкой головок проблем не возникает, а если я переведу компьютер на 24 часовую работу, и открою доступ к данному накопителю по локальной сети, то получается, что по большей части диск будет бездействовать, а головки не запаркованы. А свет нет нет да отключают, значит надо бесперебойник. Или же я не првильно себе представляю что по завершении питания подается команда накопителю на парковку головок и головки автоматически запаркуются даже если просто отрубить питание у диска?

Если свет отключат, головки запаркуются независимо ни от чего.

Если свет отключат, головки запаркуются независимо ни от чего.

Если это так, то я очень рад. Спасибо.

Но бесперебойник все равно нужен. Единственный известный мне сервер без бесперебойника жужжит у меня в кладовке.

Ничего странного. Под той же кафкой SSD уходят в ноль за полгода, где столько денег напечатать?

HDD для длительного хранения информации

а что заявляют эти производители именно по хранению в годах например ?

RAM.

А HDD в таких кейсах, имхо, это бюджетный вариант для бедных.

Впрочем, все надо считать в конкретных цифрах.

RAM.

Бха-ха-ха… я аж газировкой подавился.

20T  4.8T   15T  25% [mountpoint path]

Один из брокеров, всего конкретно в этом кластере их 42. И таких кластеров не один и не два.

А HDD в таких кейсах, имхо, это бюджетный вариант для бедных.

Пусть кинет в меня камень тот, кто скажет, что DL380 Gen10 - бюджетное решение…

а что заявляют эти производители именно по хранению в годах например ?

Лично я такой информации не встречал нигде. От себя могу только сказать, что если сравнить поверхность диска с магнитом, и задуматься на сколько процентов в год деградирует магнит, то информация должна быть читабельной долго.

У нас пока что в серверах более 1Т рамы нет.

Лично я такой информации не встречал нигде

но ведь именно для этого ты выбираешь hdd )

получается, что никакой hdd для хранения и не предназначен

хочешь хранить - бери два hdd в два системных блока и делай периодически бэкап (rsync например), этим ты повышаешь шанс не сдохнуть им обоим сразу

мало два ? бери три )

А уже и 8Tb RAM можно поставить в однопроцессорные материнки, и это не считая всяких вариантов с RAM дисками в PCIE…

Но да, все надо считать, может вам скорости HDD достаточно, и не она является узким местом…

А уже и 8Tb RAM можно поставить в однопроцессорные материнки

Ты, видимо, не очень понимаешь, что такое Кафка и что с ней случится, если одновременно несколько нод ребутнуть и данные потерять.

получается, что никакой hdd для хранения и не предназначен

для хранения как раз он и предназначен, только время хранения не оговаривается.

хочешь хранить - бери два hdd в два системных блока

думал про второй, но жаба душит на один то денег выделить, если только потом со временем докупить второй.

А вообще подключал я диск который больше десяти лет лежал на полке, все там нормально читается.

Современный сторадж юзать меньше чем в RAID1 - к даунтайму…

Не знаю. Меня просто зацепила фраза, что очень важна скорость доступа, но при этом используются HDD. Ну а дальше диалог стал каким-то глупым. Раз в полгода поменять SSD – дорого, хотя 20TB в ssd raid1 или nvme raid1 будет меньше месячной зарплаты топового программиста (до вычета всех налогов). Но я понятия не имею о ваших задачах и, соответственно, считаю, что если вы выбрали HDD vs SSD or NVME or RAM, то выбор был обоснован и разумен.

для хранения как раз он и предназначен, только время хранения не оговаривается.

это домыслы или гдето написано в документации на диск ?

ты себе какой срок хранения обозначил минимальный ?

это домыслы или гдето написано в документации на диск ?

Домыслы чего, того что диск предназначен для хранения информации? Так я полагаю что это и есть его первостепенная задача. Или того что время хранения не оговаривается? Ну покажите мне где это оговаривается.

ты себе какой срок хранения обозначил минимальный ?

я думаю что об этом можно задуматься если записал данные на диск и убрал его на полку. А если диск постоянно в работе, то он сдохнет быстрее чем размагнитятся блины. Т.е. надо вовремя позаботиться о покупке еще одного пока не сдох первый и сделать бэкап.

Домыслы чего, того что диск предназначен для хранения информации?

да, именно это, доказать это можно только документаций производителя - покажешь ли ?

я думаю что об этом можно задуматься если записал данные на диск и убрал его на полку

мне показалось, что именно это и имелось ввиду в первом сообщении, или что означало там слово «хранение» ?

Нет. HDD никогда не позиционировались для архивирования информации. HDD могут быть использованы для построения систем хранения информации, в которых уже будет предусмотрены бекапы, проверки и пр. Для холодного хранения делали ленты, там есть гарантия на срок хранения, при соблюдений условий хранения.

Раз уж я тут много комментов написал, то поделюсь своим опытом.

Я уже много лет (больше 10) использую диски WD Gold. Выбрал их, когда-то, потому что у них была большая гарантия и неплохие характеристики, включая уровень шума.

Для хранения важных данных я сейчас использую 10TB диски, которые без гелия, т.к. мне кажется, что в сервисе с них будет достать информацию проще, если они сдохнут.

Проблем с дисками пока не было, хотя еще есть один, терабайтник возрастом 12+ лет. Но старые диски я продавал и покупал новые, большей емкости. С серверными это делать проще – они надежнее и гарантия дольше.

Диски с данными обычно находятся в standby mode, соответственно, они не шумят. Когда нужно обновить или проверить данные – они включаются.

Диски зашифрованы cryptsetup (на случай, если вдруг сопрут), скрипт для отключения диска:

echo "[WD Gold 10TB]"
umount -v /mnt/arj.v1
echo -n " close: " && cryptsetup -v close arj.v1
hdparm -y /dev/disk/by-partuuid/1fde485c-481...
echo ""

PS: про надежность дисков у гугла была серия собранных данных, в частности, вот:

http://static.googleusercontent.com/media/research.google.com/en//archive/disk_failures.pdf

echo -n " close: " && cryptsetup -v close arj.v1

зачем вызов cryptsetup зависит от ‘лога’ ?

Я особо не задумывался, когда скрипт сделал, но почему бы и нет? Скрипт запускается только вручную, я хочу видеть что исполнилось, соответственно, вывод на консоль и команда должны быть связаны. Если вывод в консоль завершается с ошибкой, то cryptsetup запускать не надо, т.к. я не смогу увидеть его сообщения, в случае проблем. Но в целом это все несущественно, можно и через ; записать.

Скрипт запускается только вручную

если так, то проблем нет

просто резануло глаз, что от успеха команды лога зависит реальный код )

ну в кроне я бы так писать точно не стал бы :)