SATA vs SCSI RAID

Если стоимость не является продлемой, то лучше SCSI.. сами недавно выбирали масс сторадж на 10 теробайт.. либо на SATA либо на SCSI.. Посмотрели, посчитали.. Оказалось выгоднее на SCSI..

s/продлемой/проблемой

>За последние 2 года у меня из 32 Скази дисков полетело 7, а из 10 АТА (при похожих условиях эксплуатации) полетело 2

Просто интересно: "Возраст дисков одинаковый?"

> "Возраст дисков одинаковый?"

Все одновременно покупается/заменяется/апдейтится. То есть примерный график приобретения:

3 АТА и 2 Скази (старые были); два года назад: 2 АТА, 3 месяца, 16 Скази, полгода, 5 АТА и 7 Скази, полгода, 7 Скази.

MiracleMan (*) (02.05.2006 23:01:11):

> Если стоимость не является продлемой, ...

Не является прямо, но надо понять, что выгоднее.

> Посмотрели, посчитали.. Оказалось выгоднее на SCSI..

Pls., КАК считали?

Я не могу вычленить рациональное зерно. Все говорят: "Конечно, Скази!" Почему? -- "Все об этом знают!"

Надежность? -- не вижу!

Скорость? -- одинакова!

Цена? -- АТА существенно дешевле!

Ок, во времена PIO, когда не было кэшей и очередей, когда было 2 IDE порта на MIO карте, преимущество Скази было понятно.

В чем оно сегодня?

По поводу надежности SATA можно глянуть тут: http://blogs.netapp.com/dave/TechTalk/?permalink=Expect-Double-Disk-Failures-... если пропустить маркетинг RAID-DP, то рациональное зерно там есть.

> Интересует как можно быстрее читать и одновременно писать несколько (порядка 5 - 10) многогигабайтных (20 - 100 гиг) файлов.

Вообще-то, есть методика подсчета того, сколько и каких дисков дадут требуемую производительность, а так же какие уровни RAID нужно применять для каких задач. Если я правильно понимаю, у тебя видео. Для видео обычно советуют применять RAID3. Я сам, однако, не пробовал. Думаю, зависит от задачи, размера кеша в массиве и т.п.

> Связано ли это утверждение с хэшами и очередями? Иначе, с какой стати I/O перфоманс у SCSI при одинаковых RPM будет выше?

Во-первых, я еще не слышал про диски SATA быстрее, чем 7200 rpm. FC/SCSI диски - это 10 или 15 krpm. Во вторых, глянь на http://www.seagate.com/cda/products/discsales/index/1,,,00.html - для дисков FC/SCSI среднее время доступа - 4.7 msec для 10krpm и 3.6 msec для 15krpm, для SATA 7200 rpm - 10.5 msec. Про SCSI я не уверен, но, насколько мне известно, FC диски имеют меньший диаметр, чем SATA, что добавляет производительности в смысле времени доступа. Судя по тому, что оно одинаково, возможно, и SCSI у Seagate маленькие.

Когда ты одновременно пишешь и читаешь 10 потоков данных, с точки зрения диска это выглядит уже практически как random io, поэтому seek time тебе будет довольно актуален.

А что - в Германии уже нет системных интеграторов? ;)

SCSI обычно рассматривается, как low end для тех задач, где нужна неплохая производительность. SATA - практически всегда архивные системы, где производительностью не заморачиваются. Впрочем, я знаю одну компанию, которая пользуется SATA-системой для видео. Говорят, работает.

Впрочем, если напихать дофига дисков, можно на чем угодно делать. =)

Давно всем известно, что для линейного чтения быстрее ATA(теперь уже SATA), для параллельной работы(чтение и запись) - быстрее(причём намного) SCSI. Из-за их отработанной технологии TCQ. NCQ в SATA пока ещё рекомендованная(а не обязательная) фича даже для SATAII.

Да, "механизм NCQ очень похож на маршрутизируемую очередь команд в протоколе SCSI, но в отличие от нее максимальная глубина очереди составляет всего 32 вопроса, а не 256."

Первое предложение читать так: "Давно всем известно, что для линейного чтения иногда бывает быстрее ATA(теперь уже SATA), для параллельной работы(чтение и запись) - быстрее(причём намного) SCSI"

Из личного:
В 2001 году поднимался сервер для некоего CADa, в данном случае сервер с большим кол-вом мелких файлов и интенсивным дисковым IO. Начальство зажало на запрошенный нами SCSI диск и купили IDE. Диск менялся 4 раза каждые ~3 месяца. Надоело купили SCSI и сейчас тот диск там работает (сервер в режиме 24x6, один день нет нагрузки).

Думаю и цена на диск SCSI в 5-10 раз большая IDE не по маркетинговым причинам.

2All:

Thanks a lot.

ivlad (*) (03.05.2006 9:39:50):

> Вообще-то, есть методика подсчета того, сколько и каких дисков дадут требуемую производительность, а так же какие уровни RAID нужно применять для каких задач.

Где бы ее посмотреть? Или хотя бы как нагуглить (по каким ключам)?

> Если я правильно понимаю, у тебя видео.

Нет, но, наверное, похоже: параллельный числогрыз очень больших выражений на многопроцессорных машинах и кластере. Хотим потестировать пока в районе терабайта на четырехголовом Оптероне.

> Во-первых, я еще не слышал про диски SATA быстрее, чем 7200 rpm. FC/SCSI диски - это 10 или 15 krpm

То есть, АТА на 10 krpm однзначно существенно быстрее SCSI на 7200 rpm? Как я понимаю, именно скорость вращения (и размер) определяет производительность в конце концов?

> Когда ты одновременно пишешь и читаешь 10 потоков данных, с точки зрения диска это выглядит уже практически как random io,

Ну не совсем.

Памяти много, кэш могучий. Ядро хорошо оптимизирует это дело. Тут больше от типа/параметров fs зависит. По крайней мере на XFS (и даже ext3) рандомности на тестах почти не ощущается. На Райзере, действительно, катастрофа...

То есть, как я понимаю, когда мы говорим про _одиночный_ диск, "линейная" производительность определяется скоростью вращения и размерами. Если еще без кэширования и оптимизации операционкой, тут, конечно, кэши и очереди очень важны (но все это есть в АТА с 1998 года).

В массиве дисков, да еще страйпнутых, да еще с железным контроллером... Как я понимаю, все будет определяться наличием свободного места / памяти для кэша.

Dimez(*) (03.05.2006 9:44:55):

> ...Из-за их отработанной технологии TCQ. NCQ в SATA пока ещё рекомендованная(а не обязательная) фича даже для SATAII.

Почему-то при покупке нового Скази диска TCQ бывает выключена. Мы пробовали поиграть параметрами очередей, (16 Скази соединенных в XVM, 2-8 полос, под XFS), разничы почти не было (несколько процентов), то есть даже по сравнению со случаем с выключенными очередями wall-clock разница была в пределах 10%

> Где бы ее посмотреть? Или хотя бы как нагуглить (по каким ключам)?

эээ... не знаю, где оно все в одном месте изложено... может, я изложу при случае. смысл, в общем простой: берешь показатели производительности в iops, зная, сколько iops дает конкретный диск, прикидываешь.

> То есть, АТА на 10 krpm однзначно существенно быстрее SCSI на 7200 rpm?

я бы сказал, rpm во многом определяет seek time. конечно, это не единственный параметр.

> По крайней мере на XFS (и даже ext3) рандомности на тестах почти не ощущается. На Райзере, действительно, катастрофа...

тут многое зависит от того, как апдейтятся метаданные, их апдейт может добавлять определенное количество iops, причем - в ненужных местах диска (например, если у тебя данные пишутся в лог, а метаданные - прямо в FS, или наоборот).

> Памяти много, кэш могучий.

> В массиве дисков, да еще страйпнутых, да еще с железным контроллером... Как я понимаю, все будет определяться наличием свободного места / памяти для кэша.

много кеша - это сколько? 128 GB? ;) 256? 1 TB? в страйпнутых дисках производительность будет расти почти линейно при подходящем размере блока - если тебя только это волнует, просто подбери достаточное количество дисков по iops. Для SATA принято считать, что один диск дает ~50 iops. Для FC/10krpm - ~100-120 iops, для FC/15krpm - ~150-180iops. все зависит от задачи, конечно.

Я не говорю, что у тебя SATA будет недостаточно быстро. Я говорю, что в общем случае (иначе говоря - обычно, на часто встречающихся задачах) дисковые системы FC быстрее своих аналогов на SATA. Это, в общем-то не новость.

ivlad (*) (03.05.2006 15:33:49):

> ...подбери достаточное количество дисков по iops.

Насколько я понимаю, ИОПСами оценивается произврдительность дисков для баз данных, когда много мелких транзакций. В моем случае они особой роли не играют, как я понимаю.

Как с случае видео iops оцениваются?

> Как с случае видео iops оцениваются?

у тебя просто на iops приходится больший блок данных. а так разницы практически нет.

У меня под рандом-ио нагрузкой крутился 500-гиговый SCSI массив и потом 1000-гиговый SATA. Так вот, на рандомном ио SCSI показывал себя ровнее -- САТА изображал синусоиду в LA.
Хотя это возможно совершенно не показательно.

После всяческих многократных прикидок (к моему удивлению :)) у меня получается, что решение со СКАЗИ выходит дешевле! (имеется в виду, при той же производительности системы в целом).

Я взял таймаут на пару дней, но завтра скажу начальству, что созрел в пользу Скази...

Прошу прощения, не успел ответить.. занят был.. :-(

Впрочем тут уже ivlad и другие достаточно наотвечали.. В общности так оно и есть, единственное, я не удивлён тому к каким выводам всё свелось.. Именно о том я и говорил..

Все, уговорил начальство на СКАЗИ.

Всем спасибо.

> Во-первых, я еще не слышал про диски SATA быстрее, чем 7200 rpm.

SATA WD Raptor - есть и по 10к рпм, причем уже давно. Но как уже расписали - сказка есть сказка, и по-любому эта технология более производительна чем ата/сата.