Замутил мегариг с PCI-E-хабом

Просто еще хочу напомнить, как на некоторых десктопных материнках делается коммутация PCI-E-разъемов, когда у нас доступен или 1 порт на 16 линий, или 2 на 8: http://cdn1.afterdawn.fi/storage/pictures/1024/02_msi_gigabyte_gen3_presentat... - 4 «тупых» микросхемки-коммутатора (по 2 RX+TX линии на каждую: https://www.pericom.com/assets/Datasheets/PI3PCIE3412.pdf) просто по внешней команде (например, по факту наличия карты во 2-м разъеме) перекидывают 8 линий с одного разъема на другой. И все работает. Лишь бы BIOS знал про такие фокусы и корректно все разруливал.

Цитату пока не нашел. Ушел спать.

Слушай просто поверь человеку который знает электрические спеки pcie. Там коммутация делается очень просто: линии идут крест накрест по восемь пар. То есть эта коммутация она хардкорная. Непереключаемая.

Ты кстати в курсе что это дифференциальные пары то? Так вот - их надо оканчивать резистором с сопротивлением равным волновому сопротивлению линии. И их нельзя ветвить т.к. каждая длинная линия это по сути колебательный контур

То есть ты хочешь разделить 1*16x на 16*1x?
Интересная идея.

Вопрос: а можно наращивать эти хабы? То есть в первый хаб включить 2 видеокарты и второй хаб, во второй 2 видеокарты и хаб и т.д?
Есть ли ограничение на количество устройств на шине? (допустим что скорость не важна).

Да чёт не особо ты знаешь. Ничто не мешает чипу имея соответствующую логику использовать имеющиеся линки в раздельно, они независимые по сути.

Не критична, пока ты sli из топов на x1 слотах заводить не соберёшься.

В стандарте четко прописан порядок следования байт по линкам для х4, х8, х16. Может в 3.0 не так я доку на 2.0 читал

Не на майнинге

что, кто-то еще майнит?

А большинство людей использует видеокарту по прямому назначению, или для opencl. И там пропускная способность критична

То есть ты хочешь разделить 1*16x на 16*1x?

Вроде того. Для начала хотя бы на 2*1x. С diff-линией clock'а без промежуточных буферов действительно могут быть проблемы, если на один линк много устройств лепить без должного согласования.

Вопрос: а можно наращивать эти хабы?

Не знаю, в интернете бродят подобные фото:

http://www.dvhardware.net/news/2010/asus_rampage_iii_extreme_xxx_dh.jpg
http://img.ibxk.com.br/materias/5277/19175.jpg

Постановочные или оно реально заработает - хз. Смогу проверить на том хабе, что я купил, когда закажу еще несколько, но приедет это все не скоро.

Есть ли ограничение на количество устройств на шине? (допустим что скорость не важна).

Подозреваю, что таки есть. Вспомни тот же USB - как бы ты не лепил хабы, но больше 127 девайсов не влезет. Вроде для PCI-E на глаза попадалась цифра 255.

что, кто-то еще майнит?

Всегда кто-то майнит.

использует видеокарту по прямому назначению, или для opencl. И там пропускная способность критична

В любом из вариантов критичность пропускной способности зависит от задачи. Даже «по прямому назначению», о чем свидетельствуют периодически появляющиеся статьи на оверах, вроде https://www.overclockers.ru/lab/67746/testirovanie-starshih-videokart-nvidia-...

Полезный линк нашел: http://www.eevblog.com/forum/beginners/pcie-lane-switching/

Например,

I had email ASUS about the possibility of doing this.
They also mentioned that although PCIe Bifurcation is support on current generation Intel Core processor it needs to have some code written in the BIOS for detection and setting it up.
The PCIe Bifurcation is used on a lot of highend motherboard

+ в копилку: https://electronics.stackexchange.com/questions/93264/pci-express-bifurcation...

Собираюсь тут заказывать еще этих хабов. Только что наткнулся на такое: http://www.ebay.com/itm/Mini-PCIe-1-to-3-PCI-Express-1x-slot-Adapter-Port-Mul... - на один переходник меньше.

Приехало еще 3 хаба. Подключил 2 цепочкой, одну карту переставил во 2-й хаб. Видится, работает:

rain@miner21:/mnt/rw/rain$ lspci -t
-[0000:00]-+-00.0
           +-02.0-[01]--+-00.0
           |            \-00.1
           +-03.0-[02]--+-00.0
           |            \-00.1
           +-04.0-[03]----00.0
           +-05.0-[04]--+-00.0
           |            \-00.1
           +-06.0-[05]--+-00.0
           |            \-00.1
           +-0a.0-[06]----00.0
           +-11.0
           +-12.0
           +-12.2
           +-13.0
           +-13.2
           +-14.0
           +-14.2
           +-14.3
           +-14.4-[07]----07.0
           +-14.5
           +-15.0-[08-10]----00.0-[09-10]--+-01.0-[0a]--+-00.0
           |                               |            \-00.1
           |                               +-02.0-[0b]--+-00.0
           |                               |            \-00.1
           |                               \-03.0-[0c-10]----00.0-[0d-10]--+-01.0-[0e]--+-00.0
           |                                                               |            \-00.1
           |                                                               +-02.0-[0f]--
           |                                                               \-03.0-[10]--
           +-16.0
           +-16.2
           +-18.0
           +-18.1
           +-18.2
           +-18.3
           \-18.4

http://polariton.ad-l.ink/7ccWpX7yR/image.png

Итого:
* Успешно заработала цепочка из 2 хабов, воткнутая последовательно в 1х-слот, больше не пробовал.
* Заработал конфиг из 8 карт.
* 9 карт увиделись системой, lspci и даже aticonfig --lsa показал 9 карт, но aticonfig --odgt --adapter=all, например, выдавал ошибку на 9-ю карту. Пробовал менять местами карты на хабе - aticonfig ругается (и ethminer не майнит) именно на последнюю; а так - остальные вполне нормально работают.
* Чувствуется недостаток пропускной способности шины - весьма долгий запуск ethminer и тормоза системы при этом в целом. Если уж использовать несколько хабов, то соединять все звездой, где материнка - центр звезды.

В остальном - хабы вполне можно успешно использовать на майнинг-ригах, дополняя материнки и сокращая затраты на лишние процы/память/диски/кулера/etc; делая при этом двухблочные схемы и раскидывая карты между блоками.