|
Виж темите без отговор | Виж активните теми
Дата и час: Пон Юли 27, 2026 1:34 am
|
Страница 1 от 1
|
[ 4 мнения ] |
|
| Автор |
Съобщение |
|
HCL
Ранг: Форумен бог
Регистриран на: Вто Дек 14, 2004 1:31 pm
Мнения: 3849
|
 AI HW Структурата на производствените разходи на B200 и TPU v7 чиповете е доста интригуваща. Това че Интел изтърва пазара за инференс чипове е драма не по-малка от тази на Nokia. NVDA таксува $40k за B200, който представлява огромна памет с няколко MAC и DMA блока...
|
| Вто Дек 23, 2025 3:26 am |
 
|
|
|
HCL
Ранг: Форумен бог
Регистриран на: Вто Дек 14, 2004 1:31 pm
Мнения: 3849
|
Re: AI HW Междувременно най-актуалния open source LLM за програмиране (Kimmy K2 Thinking) върви с прилични 30 токъна / секунда на хардуер за $40k. https://www.youtube.com/watch?v=x4_RsUxRjKU
|
| Вто Дек 23, 2025 3:28 am |
|
|
|
palavrov
Ранг: Форумен бог
Регистриран на: Вто Окт 11, 2011 11:53 pm
Мнения: 4582
Местоположение: Brussels / Пловдив
|
Re: AI HW Щях да те питам за този клъстер - по ли си струва от 4 RTX 6000 PRO които са на съизмерима цена?
_________________
Мразя да мразя ...
|
| Пон Дек 29, 2025 2:39 pm |
|
|
|
HCL
Ранг: Форумен бог
Регистриран на: Вто Дек 14, 2004 1:31 pm
Мнения: 3849
|
Re: AI HW Ако ще тренираш модели NVIDIA няма конкуренция.
Ако ще инферираш модели които пасват в паметта на графичната карта (заедно с KV кеша, който расте с дължината на отговора на модела) тогава пак NVIDIA ще ти свърши повече работа защото е по-бърза.
За всичко останало MAC-а няма алтернатива, т.е. Инфериране на големи модели които не пасват в графичната карта
|
| Пон Дек 29, 2025 7:10 pm |
|
|
|
|
Страница 1 от 1
|
[ 4 мнения ] |
|
Кой е на линия |
Потребители разглеждащи този форум: 0 регистрирани и 11 госта |
|
Вие не можете да пускате нови теми
Вие не можете да отговаряте на теми
Вие не можете да променяте собственото си мнение
Вие не можете да изтривате собствените си мнения
Вие не можете да прикачвате файл
|
|
