Рыба и LLM мечты обычного человека

256 ГБ/с у AMD Strix Halo, у Mac M2 Max/M3-M4 pro 400+ Гб/c. Не будет делать Nvidia заведомо слабый продукт.

Фишка этого GB10 SOC - правильная комбинация TPU и CPU ядер в пропорции оптимальной для трансформеров определённого размера. Он только на этих задачах заявленные терафлопсы покажет. Скорее всего, мы скоро увидим множество специализированных ASIC/FPGA для БЯ моделей на рынке, как биткойн майнеров в своё время.

А вообще, просить 200B модель нарисовать открытку с котиком - это просирать мегаватты на ветер. Для потребительских ИИ приложений нужны небольшие модели, заточенные под узкий круг задач, которые можно файн тюнить с помощью больших моделей.

Про маки стоят дороже, вроде в два раза от заявленной 3000 USD. Плюс у них меньше tflops-ов. Не думаю, что и амд-ый стрикс 395+ будет стоить дешёво, также будет порядка 3000 USD.

Про маки стоят дороже, вроде в два раза от заявленной 3000 USD.

Которые из? На M4 Pro разных конфигураций есть и макбуки, и аймаки, и маки мини. Маков Про пока нет, не вникал, планируются ли.

Так вот: конфигурация аймаков довольно убогая (мало рамы и ядер), так что отбрасываем. Макмини «14 ядер CPU, 20 ядер GPU, 16 ядер NPU», 64 ГБ ОЗУ, штатный мелкий сэсэсдэ и гигабит эзернет - 11500 злотых, или меньше 3000 долларов, с польским НДС и прочими KGO. Макбук похожей конфигурации да, в два раза дороже. Цены на эталонный яббловский рынок США мне влом проверять.

64 ГБ ОЗУ меньше 3000 долларов, с польским НДС и прочими KGO

А тут 128 ГБ и под 150 tflops fp16 (вполне реально, если TESLA T4 выдаёт 65 на древнем техпроцессе 12 nm и потребляет 70w), что макам и не снилось. Конкурент будет только в лице AMD, но там ценник будет примерно такой же. Плюс у NVIDIA есть CUDA и налаженная инфраструктура на которую все подсели. Поэтому 500 ГБ/с если и будет, то за отдельный прайс.

Во, появились цифры с M4 Max на 546 GB/s

https://www.reddit.com/r/LocalLLaMA/comments/1i7b3r1/i_did_a_quick_test_of_macbook_m4_max_128_gb/

quick test of MacBook M4 Max 128 GB

• LLaMA 3.2 3B 4bit – 181
• LLaMA 3 8B 8bit – 55
• LLaMA 3.3 70B 4bit – 11.8
• Mistral Large 123B 4bit – 6.6
• Mistral Nemo 12B 4bit – 63
• Mistral Nemo 12B 8bit – 36
• Mistral Small 22B 4bit – 34.5
• Mistral Small 22B 8bit – 19.6
• Qwen2.5 32B 4bit – 24
• Qwen2.5 32B 8bit – 13.5
• Qwen2.5 72B 4bit – 10.9
• Qwen2.5 72B 8bit – 6.2
• WizardLM-2 8x22B 4bit – 19.4!!

For comparison, here are some numbers obtained in the same setting on my other MacBook, M1 Pro with 32 GB:

• Mistral Nemo 12B 4bit – 22.8
• Mistral Small 22B 4bit – 12.9
• Qwen2.5 32B 4bit – 8.8

Только что-то потыкав у себя пусть и медленно, но тот же Qwen2.5 32B на Q5_K_M, удивляешься насколько же он хуже онлайн Gemimi 2.0 Flash и Thinking (по крайней мере для моих нужд и кодинга и аналитика / структурирования мыслей)

Потратить 7к или 3к или даже 1к на устройство для модели, что хуже и медленнее бесплатной онлайновой, что-то в этом мире не так.