Рыба и LLM мечты обычного человека

256 ГБ/с у AMD Strix Halo, у Mac M2 Max/M3-M4 pro 400+ Гб/c. Не будет делать Nvidia заведомо слабый продукт.

Фишка этого GB10 SOC - правильная комбинация TPU и CPU ядер в пропорции оптимальной для трансформеров определённого размера. Он только на этих задачах заявленные терафлопсы покажет. Скорее всего, мы скоро увидим множество специализированных ASIC/FPGA для БЯ моделей на рынке, как биткойн майнеров в своё время.

А вообще, просить 200B модель нарисовать открытку с котиком - это просирать мегаватты на ветер. Для потребительских ИИ приложений нужны небольшие модели, заточенные под узкий круг задач, которые можно файн тюнить с помощью больших моделей.

Про маки стоят дороже, вроде в два раза от заявленной 3000 USD. Плюс у них меньше tflops-ов. Не думаю, что и амд-ый стрикс 395+ будет стоить дешёво, также будет порядка 3000 USD.

Про маки стоят дороже, вроде в два раза от заявленной 3000 USD.

Которые из? На M4 Pro разных конфигураций есть и макбуки, и аймаки, и маки мини. Маков Про пока нет, не вникал, планируются ли.

Так вот: конфигурация аймаков довольно убогая (мало рамы и ядер), так что отбрасываем. Макмини «14 ядер CPU, 20 ядер GPU, 16 ядер NPU», 64 ГБ ОЗУ, штатный мелкий сэсэсдэ и гигабит эзернет - 11500 злотых, или меньше 3000 долларов, с польским НДС и прочими KGO. Макбук похожей конфигурации да, в два раза дороже. Цены на эталонный яббловский рынок США мне влом проверять.

64 ГБ ОЗУ меньше 3000 долларов, с польским НДС и прочими KGO

А тут 128 ГБ и под 150 tflops fp16 (вполне реально, если TESLA T4 выдаёт 65 на древнем техпроцессе 12 nm и потребляет 70w), что макам и не снилось. Конкурент будет только в лице AMD, но там ценник будет примерно такой же. Плюс у NVIDIA есть CUDA и налаженная инфраструктура на которую все подсели. Поэтому 500 ГБ/с если и будет, то за отдельный прайс.