| Микроконтролери и електроника http://mcu-bg.com/mcu_site/ |
|
| AI HW http://mcu-bg.com/mcu_site/viewtopic.php?f=6&t=19617 |
Страница 1 от 1 |
| Автор: | HCL [ Вто Дек 23, 2025 3:26 am ] | ||
| Заглавие: | AI HW | ||
Структурата на производствените разходи на B200 и TPU v7 чиповете е доста интригуваща. Това че Интел изтърва пазара за инференс чипове е драма не по-малка от тази на Nokia. NVDA таксува $40k за B200, който представлява огромна памет с няколко MAC и DMA блока...
|
|||
| Автор: | HCL [ Вто Дек 23, 2025 3:28 am ] |
| Заглавие: | Re: AI HW |
Междувременно най-актуалния open source LLM за програмиране (Kimmy K2 Thinking) върви с прилични 30 токъна / секунда на хардуер за $40k. https://www.youtube.com/watch?v=x4_RsUxRjKU |
|
| Автор: | palavrov [ Пон Дек 29, 2025 2:39 pm ] | |||||||||
| Заглавие: | Re: AI HW | |||||||||
Щях да те питам за този клъстер - по ли си струва от 4 RTX 6000 PRO които са на съизмерима цена? |
||||||||||
| Автор: | HCL [ Пон Дек 29, 2025 7:10 pm ] |
| Заглавие: | Re: AI HW |
Ако ще тренираш модели NVIDIA няма конкуренция. Ако ще инферираш модели които пасват в паметта на графичната карта (заедно с KV кеша, който расте с дължината на отговора на модела) тогава пак NVIDIA ще ти свърши повече работа защото е по-бърза. За всичко останало MAC-а няма алтернатива, т.е. Инфериране на големи модели които не пасват в графичната карта |
|
| Страница 1 от 1 | Часовете са според зоната UTC + 2 часа [ DST ] |
| Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/ |
|
