Подобрать оптимальный GPU под существующую модель tf.keras

сходить к nvidia на форум и спросить там

сходить к nvidia на форум и спросить там

А как же родной ЛОР?

CUDA_VISIBLE_DEVICES не спасёт отца русской демократии?

А как же родной ЛОР?

Здесь принято в очередной раз обсуждать vim против emacs, а не TF.

CUDA_VISIBLE_DEVICES

А это тут при чём? Вопрос в том, какую железку купить, чтобы на ней запускать модель.

Почему-то никак не получилось найти регистранта, счастливого обладателя Jetson. Осталось ощущение, что это был некромант, но не могу найти у него отзыв.

Хватит ли производительности GPU?

Вот здесь были какие-то FPS https://developer.nvidia.com/embedded/jetson-benchmarks

ResNet-50 от 40 до 2k FPS.

Хватит ли памяти на ускорителе?

Насколько я помню, в ResNet относительно немного весов. Зависит, конечно, от конкретной модели (18, 34, 50 и 101), но у меня отложилось в памяти, что у ResNet-50 примерно мегабайт 100 весов.

Проблемы с переносом с x86_64 на ARM.

Их нет. Много лун назад запускал я одну и ту же модель (вроде бы colorize??) на x86_64 и Raspberry Pi. И всё там присутствовало: TF, numpy и OpenCV.

Я изначально подумал, что проблема в том, что в модели зашито 4 устройства, а использовать хочется одно. Тонкая настройка делается либо той переменной, либо через tf.device.

Radeon RX 6900 XT

Какую-то хероту абстрактную спрашиваешь, товарищ.

Какой GPU у тебя сейчас, какая сейчас процент загрузки и какую конкретно модель джетсонов планируется купить?

можно измерить FLOPS

А можно просто спецификации почитать.

А ещё, почему FLOPS интересует, а не FPS? Учитывая, что будет камера.

Смотря какой FPS нужен + надо посмотреть сколько времени занимает пре- и пост- процессинг у вас. А так же будете ли вы работать/можете ли инференсить с батчом

Смотря какой FPS нужен

Минимум 17 FPS. Исходный кадр 1848*1848, который потом сравнивается с предыдущими, определяется движение, если оно есть, то обрезается и сжимается до 400*400 и уже в таком виде идёт на вход нейронной сети.

можете ли инференсить с батчом

Не, надо каждый кадр отдельно, чтобы задержка была минимальной.

А ещё, почему FLOPS интересует

Я думал измерить FLOPS у модели и посмотреть у каких устройств какая производительность, подобрать подходящее с небольшим запасом, процентов 20.

Какую-то хероту абстрактную спрашиваешь, товарищ.

Просто в Jetson никогда не тыкал, а тут возник вопрос «А давайте его купим. Заработает?»

Какой GPU у тебя сейчас

RTX 2060, 6 GiB

какая сейчас процент загрузки

Занято примерно 1745MiB VRAM, загрузка около 6%, насколько я могу судить по nvidia-smi.

какую конкретно модель джетсонов планируется купить

Вот это я и хочу понять.

А можно просто спецификации почитать.

Моделька не совсем чистый ResNet. Из каких спецификаций можно узнать, насколько она нагружает GPU?

Radeon RX 6900 XT

Там работает TF, есть CUDA?

Ответ в том же комментарии, на который ты отвечаешь.

Это очень грубо, но вариант более чем рабочий и ещё более очевидный. Смотришь спеку видюхи, на которой гоняешь, там будут указана пиковая производительность в терафлопсах, смотришь процент загрузки, отрезаешь этот процент от терафлопсов в спеке, смотришь спеки моделей джетсонов.

Выглядит так, что хватит чуть ли не любого вплоть до Nano.

https://developer.nvidia.com/embedded/jetson-modules

хватит чуть ли не любого вплоть до Nano.

Я думаю, лучше с запасом, какой-нибудь из Jetson TX2.
Скажите, милсдарь Ведьмак, а бывают какие-то платы под модули, кроме dev kit'ов? Например, если мне надо только USB и Ethernet. Или это кастомное производство только?

TX2 довольно мощный, я тестил, но то девкит был.

Спросил тех, кто с ними очень плотно работает, они пилят свои платы.

Также скинули ссылку на готовые: https://auvidea.eu/

Также скинули ссылку на готовые

Спасибо!

P.S.: Был бы у NV какой-нибудь сервис, чтобы можно было у них в облаке позапускать на этих Jetson'ах свой код, посмотреть, как работает...

Ну а точно есть уверенность что нейронка - узкое место? Иногда бывает что препроцессинг и/или рендеринг тормозят и потом ругают нейронку