Идея: raid на флешках

Я, конечно, мало смыслю в том как там работает система разных устройств в Линуксе, но что-то не уверен что УСБ устройства можно объединить в RAID.

на райде нулевого уровня - такая же как просто на флешке

>на райде нулевого уровня - такая же как просто на флешке

Это почему? Нулевой - это stripe, т.е. равномерное распределение данных, и как следствие - нагрузки.

Ы?

>Я, конечно, мало смыслю в том как там работает система разных устройств в Линуксе, но что-то не уверен что УСБ устройства можно объединить в RAID.

Можно вроде как любые устройства, хоть файлы с образами (в теории, не пробовал).

Да увеличение то скорости было бы, если бы УСБ флешки можно было объединить в RAID, что, как я подозреваю, нереально.

В софтовый можно объединить что угодно, хоть файлы с рамдисков, отформатированных в minixfs

скорость чтения/записи не изменится, вот на рейде первого уровня производительность должна быть выше

>Можно вроде как любые устройства, хоть файлы с образами (в теории, не пробовал).

Ну если так, то вперед. Хотя слабо представляю зачем это может понадобиться на практике. Если только из чисто спортивного интереса. :)

>скорость чтения/записи не изменится, вот на рейде первого уровня производительность должна быть выше

Какую-то фигню пишешь, товарищ.

я сплю

>Я, конечно, мало смыслю в том как там работает система разных устройств в Линуксе, но что-то не уверен что УСБ устройства можно объединить в RAID.

Только что попробовал - удалось создать RAID0 на четырех файлах-образах. Так что в RAID можно объединить всё что угодно.

>В софтовый можно объединить что угодно, хоть файлы с рамдисков, отформатированных в minixfs

Вот это действительно было бы круто, но мало интересно на практике, наверное. :)

>Только что попробовал - удалось создать RAID0 на четырех файлах-образах. Так что в RAID можно объединить всё что угодно.

Уже осознал. :) Круто. Но зачем?

> что-то не уверен что УСБ устройства можно объединить в RAID.

Если хорошенько погуглишь, найдешь как один мужик под маком сделал рейд-контроллер из нескольких флоппиков. Самое обидное, что он сделал это все под маком мышкой за несколько минут, и у него все заработало...

Интерес пока чисто спортивный. А на практике - объединение нескольких USB-флешек могло бы позволить создавать достаточно шустрый массив под весьма большую кучу данных, к примеру БД какую-нибудь весом в 30 гиг, которые надо читать быстро и в случайном порядке. Линейную скорость получим на уровне предела пропускания PCI-шины (а может и USB-шины - собственно вот в этом и проблема), а время доступа - минимальное.

Дешево и сердито)

где-то видел статью про чувака, который на своём маке сделал рейд из дискет.

>Если хорошенько погуглишь, найдешь как один мужик под маком сделал рейд-контроллер из нескольких флоппиков. Самое обидное, что он сделал это все под маком мышкой за несколько минут, и у него все заработало...

Не поверишь - я сделал сейчас то же самое в линуксе с файлами за две минуты, руководствуясь манами - никогда ранее не делал этого)

Попутно пришла идея рейда 1 уровня на файле, размещенном на нескольких серверах, подцепленном по NFS. Но это я уже не знаю где имеет смысл использовать на практике =)

>Интерес пока чисто спортивный. А на практике - объединение нескольких USB-флешек могло бы позволить создавать достаточно шустрый массив под весьма большую кучу данных, к примеру БД какую-нибудь весом в 30 гиг, которые надо читать быстро и в случайном порядке. Линейную скорость получим на уровне предела пропускания PCI-шины (а может и USB-шины - собственно вот в этом и проблема), а время доступа - минимальное.

Ну если в продакшн и Ынтерпрайз, то наверное не покатит, т.к. использовть чисто бытовые устройства для таких целей не очень гуд. Фиг знает как долго флехи проживут при постоянной нагрузке (это я не про циклы записи, а про все остальное вещи), они ведь не рассчитаны на такой режим работы. Хотя да, скорость можно получить нехилую.

>Дешево и сердито)

Это единственный плюс. :) Если для продакшена, то уже наверное можно найти и промышленные SSD с соответсующими параметрами, но, и, конечно, ценой.

>где-то видел статью про чувака, который на своём маке сделал рейд из дискет.

Это из серии "кот, лизать, яйца". :)

>Попутно пришла идея рейда 1 уровня на файле, размещенном на нескольких серверах, подцепленном по NFS. Но это я уже не знаю где имеет смысл использовать на практике =)

Нужно принять дополнительную дозу веществ! ;)

>Нужно принять дополнительную дозу веществ! ;)

Если принять дополнительную долю веществ - то получим RAID из RAM-дисков на N серверах, подключенных гигабиткой к независимым сетевухам на PCIe по специально разработанному под это сетевому протоколу =)

Все равно RAID на перфокартах через голосовой модем круче.

Только вопрос ещё вот в чем.

RAID задумывался для медленных устройств висящих на толстой шине, так что узким звеном является как раз само устройство. Так что подключение дополнительных девайсов действительно увеличивает скорость.

А в USB ограничивающим фактором является не скорость самого устройства, а именно толщина канала. По крайней мере, по-моему, скорость накопителя и скорость линии сравнима.

Ну и не забываем про процессор. У USB накопителя есть DMA режимы?

USB 2.0 - 480МБит. Это 60Мб/с без учета накладных расходов. На один USB-канал (грубо говоря, на контроллер). С учетом накладных расходов можно делить где-то на два. Современные хорошие флешки как раз столько и выдают, т.е. одна флешка занимает ресурсы одного контроллера полностью. Контроллеров же - несколько, соответственно если флешки развесить по разным контроллерам - то выигрыш будет. DMA-режимов, насколько я помню, в USB нет - это тоже проблема, т.е. нагрузка на CPU очевидно будет большой.

Но это всё в теории. Как будет возможность - отберу у народа кучку флешек и проведу эксперимент =)

> Ну и не забываем про процессор. У USB накопителя есть DMA режимы?

Так-же как и у USB-мышки: ЕСТЬ

> RAID из RAM-дисков

Есть винчестера на основе DDR-памяти — блины у них только в качестве бэкапа. Вот из таких RAID да забацать...

> Есть винчестера на основе DDR-памяти — блины у них только в качестве бэкапа. Вот из таких RAID да забацать...

А зачем? быстрее чем может шина, все равно работать не будет :) А своп (а для чего еще нужны такие винты?) и так можно раскидать на несколько девайсов

на Acer One есть два кардридера, так вот я в них вставил две карточки SDHC 4Gb и сделал Raid0 софтварный и держу там /home а все остальное на SSD. В общем скорость увеличилась, точно не помню сколько но скорость увеличилась в 1.7 раза на запись

Видимо, улучшается производительность при произвольном доступе

Ы :) Проснулись :) http://juick.com/Rain/39823

>USB 2.0 - 480МБит. Это 60Мб/с без учета накладных расходов. На один USB-канал (грубо говоря, на контроллер). С учетом накладных расходов можно делить где-то на два. Современные хорошие флешки как раз столько и выдают

нда..

современная дешёвая флешка звписывается на скорости 2МБ/с, читается 8-16. Удивись.

hdparm --direct -t /dev/sd{e,f}1

/dev/sde1:
Timing O_DIRECT disk reads: 96 MB in 3.00 seconds = 31.98 MB/sec

/dev/sdf1:
Timing O_DIRECT disk reads: 96 MB in 3.00 seconds = 31.97 MB/sec


Указанные мной флешки достаточно дешевые? :)

Проведите более обьективный тест - скопируйте тупо файл с флешки, размером в гиг-два :)

Одну флешку не могу - они в массиве... А так -

root@mws:/usr# dd if=/dev/zero of=file bs=1M count=1200
1200+0 записей считано
1200+0 записей написано
скопировано 1258291200 байт (1,3 GB), 45,9058 c, 27,4 MB/c

### Сбросил кэши ###

root@mws:/usr# dd if=file of=/dev/null
2457600+0 записей считано
2457600+0 записей написано
скопировано 1258291200 байт (1,3 GB), 28,0948 c, 44,8 MB/c

pci-ide-raid адаптер + переходники для CF->IDE и понафтыкать CF.

http://juick.com/Rain/63813

Ежели в массиве - это не есть обьективно и честно :) Речь то шла о скорости работы отдельных флешек.

>современная дешёвая флешка звписывается на скорости 2МБ/с, читается 8-16. Удивись.

Не надо говнофлешки покупать. У меня даже на мелких файлах, несколько МБ/с записи, не говоря уже о больших файлах.

Как раз такие извращения малоинтересны и давно изветсны. Я на УСБ флеху поствил опен сусю и могу грузиться теперь с любого компа, где есть загрузка с УСБ. Правда потребности в RAID не ощущаю, и так все летает, т.к. флеха правильная.

Отдельно разве что в другой раз :) В любом случае, порядка 20-25 Мб/сек при чтении с нее можно получить.

> Не надо говнофлешки покупать. У меня даже на мелких файлах, несколько МБ/с записи, не говоря уже о больших файлах.

Всюду надо смотреть область применения :) Вот например для надежного бекапа я себе купил весьма дорогой Kingston DTII, который SLC и имеет ресурс на 100.000 циклов перезаписи, вместо дешевых MLC с ихними 10.000 (которые кстати, например если держать постоянно воткнутой в Mac, быстро от этого помирают, ввиду того, что OS X что-то там переодически обновляет в своих .* файлах, и попутно коммитит регулярно FAT-таблицу, и в итоге выжигает на ряде секторов эти самые 10.000, приводя в негодность девайс :) Так вот, ну а ежели нужна флешка просто что-бы "от пацаноф фотке перекинуть", то зачем тратить 1.5тр на дорогой DT2, когда можно за 150р купить такой-же по обьему девайс ? :)

Хорошо бы попробовать и выложить Bonnie-benchmark.

Количество хабов на материнки, на самом деле невелико. На моей всего один (на более современных - два)

~$ sudo /sbin/lspci 00:00.0 Host bridge: Intel Corporation 82845G/GL[Brookdale-G]/GE/PE DRAM Controller/Host-Hub Interface (rev 02) 00:01.0 PCI bridge: Intel Corporation 82845G/GL[Brookdale-G]/GE/PE Host-to-AGP Bridge (rev 02) 00:1d.0 USB Controller: Intel Corporation 82801DB/DBL/DBM (ICH4/ICH4-L/ICH4-M) USB UHCI Controller #1 (rev 02) 00:1d.1 USB Controller: Intel Corporation 82801DB/DBL/DBM (ICH4/ICH4-L/ICH4-M) USB UHCI Controller #2 (rev 02) 00:1d.2 USB Controller: Intel Corporation 82801DB/DBL/DBM (ICH4/ICH4-L/ICH4-M) USB UHCI Controller #3 (rev 02) 00:1d.7 USB Controller: Intel Corporation 82801DB/DBM (ICH4/ICH4-M) USB2 EHCI Controller (rev 02) 00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev 82) 00:1f.0 ISA bridge: Intel Corporation 82801DB/DBL (ICH4/ICH4-L) LPC Interface Bridge (rev 02) 00:1f.1 IDE interface: Intel Corporation 82801DB (ICH4) IDE Controller (rev 02) 00:1f.3 SMBus: Intel Corporation 82801DB/DBL/DBM (ICH4/ICH4-L/ICH4-M) SMBus Controller (rev 02) 00:1f.5 Multimedia audio controller: Intel Corporation 82801DB/DBL/DBM (ICH4/ICH4-L/ICH4-M) AC'97 Audio Controller (rev 02) 01:00.0 VGA compatible controller: nVidia Corporation NV17 [GeForce4 MX 440] (rev a3) 02:01.0 Non-VGA unclassified device: Altera Corporation Unknown device 0791 02:02.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL-8139/8139C/8139C+ (rev 10) 02:05.0 Ethernet controller: D-Link System Inc RTL8139 Ethernet (rev 10)

http://www.xtremesystems.org/forums/showthread.php?t=205107 http://www.xtremesystems.org/Forums/showthread.php?t=202397

>>Re: 4x 32GB OCZ SSD Core 2.5" SATAII solid state disks tests

SATAII в заголовке как бе напоминает, что речь идет совсем не об USB ...

Вот-вот, именно что область применения надо смотреть. Если человек задумывается о RAID, то надеюсь он знает о разнице между SLC и MLC. Например мы тут рассматривали пример о быстром доступе к, тут кстати и MLC может подойти, если в базу мы не пишем, а только читаем, т.к. скорость доступа для чтения (в том числе и случайного) и у MLC хорошая.
А так то да, чтобы перенести "фотке или фильме от пасаноф", тут любая, самая дешевая подойдет. Но смешно становиться когда некоторые начинают копировать на флешку довольно объемную папку (не ругаться! речь о пасанах на винде) с вордовскими документами или другими мелкими файлами. Ему говоришь, типа ты в зип то сначала закинь, а он типа нах зип флешка то большая. Подумаешь, что скорость может и до меньше чем мегабайта в секунду упасть...

USB это бред, вызванный продолжительным бездельем на праздниках. Какая цель создания рейда на шине с пропускной способностью 400мбит/сек?

низкая бут производительность

Использование 2-х шин, с пропускной способностью 400мбит/сек каждая ...