Что происходит при ошибках в сети ?

Ретрансмиссия запроса. По другой очереди, если есть.

Мои поздравления с вашим достмжением.

Осталось интегрировать в ceph.

expect to see a lot of kernel crashes and freezes
Си

ЧТД

man RDMA, лисапетостроитель.

Так ты сам его man. А ещё лучше, попробуй.

Включат в ваниль, пройдет кучу стэйджингов и станет тортиком

я так понял это кодогенерация из лиспа? а где лисповые сырцы-то?

nbd чем-то не устроил?

nbd чем-то не устроил?

NVMe и nbd в одном предложении употреблять неположено.

я так понял это кодогенерация из лиспа? а где лисповые сырцы-то?

Да, я - лисповый бот. В чьём-то Емаксе кручусь.

Это получается и стенку в магазине можно приподнять в систему можно подключить удаленный NVMe и работать с ним как с локальным диском, с возможностью записи через O_DIRECT и вот это всё?

Ну круто, чё...

Успехов.

Звучит очень круто. Под какую задачу разрабатывалось? Можно пару примеров использования?

В скрипте вижу включение jumbo frames, а без этого передача сильно просаживается?

В чем подвох такого ускорения передачи?

Какая минимальная версия ядра нужна для сборки? Ни тут, ни в README инфы про версию не нашёл.

Это получается и стенку в магазине можно приподнять в систему можно подключить удаленный NVMe и работать с ним как с локальным диском, с возможностью записи через O_DIRECT и вот это всё?

Можно на пачке NVMe сделать страйптнутый LVM, пробросить его по сети и иметь больше миллиона IOPS с одного диска. У меня полтора было на 50 GbE.

Звучит очень круто. Под какую задачу разрабатывалось? Можно пару примеров использования?

Под облачный сторидж с ненормальной топологией. Там нижний уровень отдавал жирные слайсы на средний, который на них зеркало делал, а из зеркала свои, более мелкие слайсы отдавал на верхний. Пропускная способность сетевого диска между нижним и средним уровнями была критическим параметром.

В скрипте вижу включение jumbo frames, а без этого передача сильно просаживается?

Достаточно прилично. Но тоже может работать. Прям сейчас не может, надо параметры создания очереди диска в инициаторе подправить. А ещё лучше, MTU path discovery прикрутить.

В чем подвох такого ускорения передачи?

Стандартно... Multiqueue, оптимизация доступа к памяти (нет горячих спинлоков, не пишутся общие области памяти, предварительное выделение, где только можно), zero-copy (кроме приёма в инициаторе). В случае с L3 (IP/UDP) ещё и не использую кернельный IP-стек.

Какая минимальная версия ядра нужна для сборки? Ни тут, ни в README инфы про версию не нашёл.

Разрабатывалось под 4.13, но давно не проверял. На 5.0 и 5.1 точно работает.

Извините, торопился: через час уезжаю в одиночку в тундру от переизбытка цивилизации лечиться, на всякий случай исходники в таком вот виде выложил. Мало ли... Документация будет.

Извините, торопился: через час уезжаю в одиночку в тундру от переизбытка цивилизации лечиться, на всякий случай исходники в таком вот виде выложил. Мало ли... Документация будет.

Если что, считать тебя коммунистом кем? :P

Прям сейчас не может, надо параметры создания очереди диска в инициаторе подправить. А ещё лучше, MTU path discovery прикрутить.

Ясно.

Разрабатывалось под 4.13, но давно не проверял. На 5.0 и 5.1 точно работает.

Пробовал собирать на debian 9 с 4.9 и ловил ошибки. На armbian с 4.14 тоже не собралось.

А вместо блочного устройства с файлом будет работать или с loop-устройством?

через час уезжаю в одиночку в тундру

Ну вопрос всё равно будет актуален. :)

Пробовал собирать на debian 9 с 4.9 и ловил ошибки. На armbian с 4.14 тоже не собралось.

Надо посмотреть, оно на достаточно древнем ядре может работать, теоретически. Единственное, что в blk-mq много лет безуспешно с рейс кондишеном боролись между таймаутом и комплишеном запроса, и там залипоны могут случаться.

armbian? На не-x86 не проверял. В протоколе BE всё должно быть, но раз не проверял, то наверняка не работает.

А вместо блочного устройства с файлом будет работать или с loop-устройством?

С файлом не будет, а loop - блочное устройство.

Это ты через fio миллион иопсов намерял ?

Да.

Слабо верится в миллион иопсов на одном ssd.
А по этим тестам напрямую и по сети насколько отличается ?
https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-...

Страйп у меня. А 700к и один диск уже выдаёт.

Та это у тебя амуде тыквит ssd дохлым синглкором.

Можно целиком глянуть команду fio и выхлоп ?

Я уже уехал. На гитхабе посмотри, там с лейтенси есть.

Я чет затупил. В твоем тесте только чтение. А я подумал что речь о записи. Интересно глянуть что с записью получается, есть ли какие-то подводные камни.

Я уже уехал

Хорошего отдыха.

Можно на пачке NVMe сделать страйптнутый LVM, пробросить его по сети и иметь больше миллиона IOPS с одного диска. У меня полтора было на 50 GbE.

А зачем? Эту пачку NVMe можно локально разместить. Можно сделать программный RAID0 или RAID1 на паре из локального и удаленного NVMe?

звучит интересно, но надо смотреть внимательно. сильное повышение производительности за просто так не бывает.

Так тут вроде не просто так, а за проц.

Наоборот: проца меньше на операцию использую, оттого на том же проце и операций больше.

Можно сделать программный RAID0 или RAID1 на паре из локального и удаленного NVMe?

Можно.

Так ты в тундре или где?

Тогда я не понял фразу «Дальше упирается в мой слабый клиентский комп, но на большом железе производительность растёт до миллионов IOPS через один диск».

Во что конкретно там упирается производительность?

Звучит прекрасно.

Вероятно, генеращая нагрузку программа упирается.

В тундре. На редких заправках спутниковый интернет есть. Щас вот на последней, полный бак и 50 литров в канистрах дальше повезу.

это все на что способны нынешние синьоры ?
говнокод уровня джуна
скажите название компании которая за вас переплатила

это все на что способны сегодняшние тролли? вброс уровня 5 класса скажите название сайта на котором кормят таких идиотов

лучей счастья посылаю. читаемая сишечка вышла.

Это домашняя поделка, я даже железа на $3к за свой счёт под это дело купил. И ещё тыщи 2 надо: клиент не тянет.

А ещё я сегодня на айсберг залазил =)

А ещё я сегодня на айсберг залазил =)

ЛОРозависимость безгранична!

то есть для себя вы делаете еще хуже чем для компании которая вас купила ?

Три запятых пропустил, стыдно.

На Debian 10 с 4.19.67 собралось, но проверять буду, когда машина в пределах одного помещения со мной будет. :)

Десятков гигабит у меня нет, но потыкать желание есть.

Плюс-минус работает примерно с 4.13, но для потыкивания желательна сотня гигабит, плюс железо, могущее прокормить это дело :) fio, запущенный на i7-3770, не может сеть нагрузить нормально.

Да мне это больше как альтернативу iscsi интересно потыкать. Не IOPS измерять и просто запустить у себя. :)

Если еще dkms.conf замутишь, то будет прям вообще зашибись.