История изменений
Исправление fk0, (текущая версия) :
М4у не поддерживает столлько памяти даже если она общая. И старший АПУ амд не поддерживает. Пока что только те самые старые зионы над которыми все смеялись.
Можно с этого момента поподробнее. Насколько старые?
Насколько я понимаю, LGA2011-3 всё таки слишком старые, так как для них нет и не будет AVX512 и VNNI. И даже по сравнению с Core-I9 всё раза в три медленей сразу (у Core-I9 и частота повыше). Навскидку у меня так. Какой-то 96-ядерный и 6-канальный рызен оказался не лучше Xeon’а и так же проигрывает Core-I9 (2-канальный). Догадываюсь из-за Numa, не разбирался. На Xeon смотрел perf, там 50% кеш-миссов и вплоть до 0.33 instructions per cycle (ожидалось порядка 2) т.е. задача сильно упирается в память (у Xeon 2 канала и 4 димма). Да VNNI у Core-I9 тоже нет, но AVX512 есть.
Другое дело Xeon Gold в LGA3647, где материнских плат мало и дорогие (сравнивая с LGA2011), да и самих ксеонов поискать надо (за умеренный прайс). Хотя очевидно, они начнут появляться в следующие годы (как раз из-за отсутствия матплат). На LGA3647 шесть каналов, но восемь DIMM, в итоге ассиметричная конфигурация и быстро будут только 4 канала работать. По ощущениям больше 128ГБайт на физический процессор не нужно, даже больше 64ГБайт. Нужно больше процессоров, и как следствие компьютеров. Но если положим нужен террабайт, по 128ГБ на процессор, двухпроцессорные платы, 8 компов == 2.5кВт. Больше в квартире и не включишь. Ну и дорого выходит же. И выйдет несколько хуже видеокарты. Но видеокарт таких вообще нет.
По ссылке что-то такое обещается: https://www.reddit.com/r/LocalLLaMA/comments/1cyzi9e/llamacpp_now_supports_distributed_inference/
Более новые Xeon с AMX (advanced matrix extension) кажется вовсе не по карману, можно забыть. Тем более матплат там вообще нет (доступных для физлица).
PS: да, на старом xeon 70B модель хоть и запускается но уже не юзабельна из-за скорости в 0.33t/s, 30B модель позволяет кое-как пользоваться, но очень медленно.
Исходная версия fk0, :
М4у не поддерживает столлько памяти даже если она общая. И старший АПУ амд не поддерживает. Пока что только те самые старые зионы над которыми все смеялись.
Можно с этого момента поподробнее. Насколько старые?
Насколько я понимаю, LGA2011-3 всё таки слишком старые, так как для них нет и не будет AVX512 и VNNI. И даже по сравнению с Core-I9 всё раза в три медленей сразу (у Core-I9 и частота повыше). Навскидку у меня так. Какой-то 96-ядерный и 6-канальный рызен оказался не лучше Xeon’а и так же проигрывает Core-I9 (2-канальный). Догадываюсь из-за Numa, не разбирался. На Xeon смотрел perf, там 50% кеш-миссов и вплоть до 0.33 instructions per cycle (ожидалось порядка 2) т.е. задача сильно упирается в память (у Xeon 2 канала и 4 димма). Да VNNI у Core-I9 тоже нет, но AVX512 есть.
Другое дело Xeon Gold в LGA3647, где материнских плат мало и дорогие (сравнивая с LGA2011), да и самих ксеонов поискать надо (за умеренный прайс). Хотя очевидно, они начнут появляться в следующие годы (как раз из-за отсутствия матплат). На LGA3647 шесть каналов, но восемь DIMM, в итоге ассиметричная конфигурация и быстро будут только 4 канала работать. По ощущениям больше 128ГБайт на физический процессор не нужно, даже больше 64ГБайт. Нужно больше процессоров, и как следствие компьютеров. Но если положим нужен террабайт, по 128ГБ на процессор, двухпроцессорные платы, 8 компов == 2.5кВт. Больше в квартире и не включишь. Ну и дорого выходит же. И выйдет несколько хуже видеокарты. Но видеокарт таких вообще нет.
По ссылке что-то такое обещается: https://www.reddit.com/r/LocalLLaMA/comments/1cyzi9e/llamacpp_now_supports_distributed_inference/
Более новые Xeon с AMX (advanced matrix extension) кажется вовсе не по карману, можно забыть. Тем более матплат там вообще нет (доступных для физлица).