да, реально

вытянет ли pci-express такую скорость ?

и может есть какие недорогие решения чтоб по одному кабелю пустить >гигабита ?

у старого pci express 1.x пропускная способность до 2.5 гбит/с была

http://en.wikipedia.org/wiki/Link_aggregation — такое?

по одному медному кабелю это, думаю, в любом случае не получится

man bonding

locate bonding.txt 

там всё написано.

и может есть какие недорогие решения чтоб по одному кабелю пустить >гигабита ?

Вряд ли. Следующий порог - 10Gbe.

Получится - но не дёшево. 10 Гбит/с.

А, ну и не очень далеко ещё. Ж;-)

какие-нибудь варианты кроме ethernet-а есть ещё? надо связать два компа стоящих рядом

конечно есть, если деньги есть на Infiniband

глянул на ебее, есть инфинибэндовские карточки дешевле ста баксов за штуку. в чём подвох?

в том, что инфинибэнд это семейство протоколов, как и езернет. тебя же не смущают сетевухи 10base-t (10 мегабит) езернет по 2 бакса?

да, реально, называется bonding как тут уже сказали. можно даже больше чем два интерфейса использовать. можно даже через свитч.

инфинибанд ощутимо дороже.

можно даже больше чем два интерфейса использовать. можно даже через свитч.

Там было требование про один кабель. Ж;-)

вот к примеру - http://www.ebay.com/itm/MELLANOX-MHEA28-XTC-10GB-Infiniband-HCA-REV-A2-/23084... 10гигабитная карта. я так понял если взять две таких и один кабель - получится линк в 10 гигабит между ними?

Вот скажи - зачем тебе это?

P.S. Карточка, ссылку на которую ты привёл, не удовлетворяет части твоих условий - это первое. И, скорее всего, тебе тривиально нечем будет её нагрузить. Возвращаемся к исходному вопросу - зачем тебе это?

надо по сети подключить nas сделанный из другого компа с аппаратный рейдом, хотелось бы иметь скорость записи, которую позволяет выжать рейд, это >200мб/с

200 мегабайт в секунду? Сколько же и каких там винчестеров у тебя? Или это теоретическая цифра?

Ладно - допустим, подключищь ты его через два линка по гигабиту (этого достаточно для получения 200 Мб/сек, в теории); ты вот только забыл сказать, где ты эти 200 Мб/сек на другом конце брать собираешься?

два веника на рейд0, даже самые хреновые пишут >100мб/с каждый.

два веника

Веники они by design заточены под функцию «мести». Ну а «2 хреновых винта в Raid-0» заставляют усомниться, что тебе нужны данные.

Может дешевле будет выхлоп /dev/random обрабатывать?

что именно тебя заставляет усомниться? я говорю о том что даже средний по скорости жесткий диск способен писать более 100 мбайт/с. хреновые/битые винты я использовать не собираюсь.

нифига у вас «средние» жесткие диски, вот у меня точно два средних жестких диска в raid0 не выдают больше 160МБ вместе взятые.

Или я не правильно тестировал? Я делал скопировать фильм с одного раздела на другой :)

n-дисков на NAS'е при нескольких параллельных даунлоадах вполне могут показать такую цифру.

Один нормальный диск (не топовый, не «black» и «raptor» сейчас может запросто выдавать скорость при чтении > 100 Мб/c. Мой старый WDC WD2500AAKS-00VSA0:

hdparm -tT /dev/sda
Timing cached reads:   8518 MB in  2.00 seconds = 4260.02 MB/sec
Timing buffered disk reads: 306 MB in  3.02 seconds = 101.46 MB/sec

А если в NAS 4-6 винтов и немало параллельных запросов, которые ещё и могут кешироваться?

You do it wrong! Кроме чтения диски занимались ещё и записью.

так hdparm это нифига не «тест» чтения, да он тест чтения поверхности ЖД но не самой ФС же.

хм. нужно как будет время проверить копированием файла в /dev/null :)

Выше уже рассказывали как это делается http://ru.wikipedia.org/wiki/Агрегация_каналов

на данный момент имею один рейд1 на двух рапторах, средняя скорость записи 170мб/с. и один на двух 3тб сигейтах, самых дешёвых, там средняя скорость больше 100 (а топовая >150). это рейд1 - зеркало. в рейд0 будет в два раза больше

# dd if=/dev/sda of=/dev/null 
10612705+0 записей считано
10612704+0 записей написано
 скопировано 5433704448 байт (5,4 GB), 54,1035 c, 100 MB/c

Статистику получил через kill -USR1 <pid dd>

Поменял один сорт мыла на другой, молодец да :)

Типичный ЛОР

ТС:
- Мне нужно <...>!

Лоровские аналитики:
- Нет, тебе это не нужно!

lacp, но есть один принципиальный момент. там балансировка по ip/mac src/dst, т.е. у вас должно быть как минимум 2 равных по полосе потока с точки зрения L2/L3

если задача business-critical, а не 2 домашних локалхоста, то берите 10g карты и не парьтесь http://net.abc.ru/net.card/intel_x520da2.htm если компы рядом, то соединить можно медью, это довольно дёшево http://labpc.ru/users/catalog/tov_old.php?id=56480

Линейное чтение/запись - это ни о чем. В таком тесте что sata что sas даст примерно одну цифру. В таком кейсе вы конечно получите своих 200Мбайт/с в начале диска. Однако реальные задачи - это чаще рандомное чтение, ну если не считать копирование файликов с фильмами.

business-critical и raid0 крайне далекие друг от друга понятия)

Да. Не знаю зачем тебе такая скорость, хоть ты и написал для «nas сделанный из другого компа с аппаратный рейдом, хотелось бы иметь скорость записи, которую позволяет выжать рейд, это >200мб/с». Вряд ли ты доберешься на практике хотя бы до 100 МБайт/c. Я как-то интереса ради решил оценить скорость работы серваков. Эксперимент состоял в следующем. Брал 2 сервака-близнеца. Аппаратный HP Smart Array P410 controller + 2 sas винта на 15000 в raid1. Сетевухи broadcom bnx2. Лил много гигабайт с одного сервака на другой по netcat. Серваки соединял как напрямую друг в друга, так и через коммутатор cisco3560. Скорость получилась 800 МБит/c. 3560 целый гигабит жует стопроцентно (на сетке была и большая загрузка). Поэтому тут дело скорее всего даже не в сети, а в дисковой системе.

как я понял, ключевой момент был «недорого» :)

Причём тут дисковая подсистема? Дисковую подсистему проверить элементарно утилитой, да тем же dd. 800мбит это 100мбайт/с, скорость дешевого домашнего винта, но никак не sas на 15000. Тут узкое горлышко в другом месте - pci-e шина, проц (маловероятно), кривой драйвер, etc.

тут узкое горлышко в другом месте - pci-e шина, проц (маловероятно), кривой драйвер, etc.

Предполагаю, что серваки hp делают не лохи, поэтому сомнительно, чтобы для узкой шины ставили шустрый контроллер с шустрыми винтами; процессоров 2 штучки; полагаю, что если результаты очень близки для centos, ubuntu и debian, то дело не в драйверах. И я бы не сказал, что при копировании «с дешевых домашних винтов» друг на друга скорость 100 мбайт, даже если лить большие по объему данные. Да, во всякой синтетической фигне результаты гораздо больше 100 мбайт, но В СРЕДНЕМ у меня получилось то, что я написал.

да я вас понимаю. у меня тоже никогда до гигабита не доходило. гигабит - предельная теоретическая скорость. это как у меня на машине на спидометре 280, а выше 200 она никогда не шла. поэтому у меня и возникают сомнения что я получу два гигабита соеденив двумя гигабитными линками два компа.

n-дисков на NAS'е при нескольких параллельных даунлоадах вполне могут показать такую цифру.

Я и спросил про количество. Ж;-) Хотя да - посмотрел потом и понял, что давно не отслеживал этот параметр и теоретически какой-нибудь VelociRaptor и 200 даёт.

Вопрос же про кэширование очень дискуссионный в том плане, что дома для таких скоростей только одна задача - фильмы в BR гонять, а они в кэш не влезают. Ж;-)

Поэтому я и написал «не дёшево». Ж;-)

800мбит это 100мбайт/с

Не вполне верно. На практике так не получится. Ну как и 200 Мб/сек на двух винтах - даже в RAID-0.

Если нужно объеденить две тачки, то делай bonding в режиме balance-rr, скорость будет процентов 60 от суммарной емкости каналов. Т.е. при 4 гигабитных каналах получиешь где-то 2.5Гбита даже для одного TCP соединения.

200Мб на двух винтах в RAID0 при линейном чтении-записи - легко, проверено на практике много раз. Даже в софтовом dm-raid.

На рабочих недефрагментированных винтах с кучей информации? Сомнения берут. Надо проверить будет при случае.

Почитайте что я писал выше. рейд1 при считывании из двух рапторов даёт 350мб/с, при подключении к adaptec 2405. при считывании из двух сигейтов 3тб/7200 цифра чуток ниже.

Линейное чтение напрямую с блочного устройства. Про файловые системы\фрагментацию\случайный доступ я не говорю, там очень много факторов влияет.

у меня на софтовом рейде никак такой скорости не получилось. пробовал на двух асусовских мамках с i7-2600k и i7-3930k. решил проблему адаптеком 2405.