Ако ти трябва да поръчваш голям Мак в бъдеще се обади. За семейство и приятели имам 17% отстъпка Относно четенето препоръчвам

Machine Learning и Deep Learning курсовете на Andrew Ng в Coursera
Видеото на Wolfram https://www.youtube.com/watch?v=flXrLGPY3SU
Всички видеота на Карпати, особено https://www.youtube.com/playlist?list=P ... GvCAUhRvKZ и https://www.youtube.com/playlist?list=P ... GvCAUhRvKZ
Всички курсове на Андрю в Deeplearning.ai
Crash course-a на Siggraph https://www.youtube.com/watch?app=desktop&v=r0Ogt-q956I

Най-лесният път към тунинговане
https://www.reddit.com/r/LocalLLaMA/com ... v01_q8_to/
https://www.reddit.com/r/LocalLLaMA/com ... update_on/

BgGPT също е правен отгоре на Мистрал 7b. Поекспериментирай им отиди им на презентацията, със сигурност ще намериш съмишленици.
https://bggpt.ai

Форумът съм го дръпнал преди две седмици, но още не ми е останало време да седна го форматирам, а и машината ми трябва за други задачи в момента. Но като го подкарам можем да обменяме опит.

Може ли да се направи обучение което да започне да имитира даден потребител т.е. подаваш му всички реплики преди съответния потребител да е отговорил и го караш да генерира отговор който го сравняваш с този който потребителя реално е написал и така с времето би трябвало да започне да звучи като конкретен човек.

За отстъпката - благодаря! 17% си е цифра ... ама не знам дали е приложимо за мен защото взимам всичко през белгийската ми фирма а това може да не влиза в графата семейство и приятели. Т.е. ако трябва да платя данъците на парите за един Мак дори и с тези 17% пак ще ми излезе по скъпо отколкото ако го взема като фирмен разход и си върна ДДС-то.

Трябва да питам дали става, но се съмнявам. Потребители имитира много добре. Виж примера с малкия принц по-горе. Отговорът е в негов стил. Не е трениран специално върху текста.

Тука по скоро не е само в начина на изразяване на даден потребител ами и в преценка дали този потребител би отговорил и съответно след това как би отговорил. Т.е. да се предвижда човешко поведение. Въпреки, че то това с предвиждането е малко мисия невъзможна - ако беше толкова лесно всички ИИ-та щяха да предвиждат акциите на борсата ...

страничен въпрос - за чий при маковете паметта от 8ГБ скача на 18 и после на 36? Някаква нова математика?

Вероятно има 2 слота за памет и комбинациите са 2х4, 2х8, 2х16 и т. н.

Слотове няма всичко е директно върху интерпозера. Предполагам основната матрица на паметта е по 1.5ГБ, примерно три канала по 512МБ или нещо такова и от там. Тръгнеш ли да си правиш сам силикона всичко е възможно. Защо три е 50% повече от 2, нищо чудно след време да станат 4, 5 или 6. Паметта е четна на 2, но при броят на канали чипове и прочие няма такава закономерност

Ясно - филийка само за техния си тостер, няма да изневеряват на сектата
Гледах им цените на настолните...наистина сериозни цифри.

Цените трябва да ги сложиш в перспектива. Надутата М2 Ултра излиза към $7000. За тези пари обаче имаш 60 GPU ядра с 0.8 TBps шина към 184 GB памет и това ти дава около 25 TFLOPS 32FP на 50 вата.

Nvidia H100 има 80 GB памет (Голиат-а не пасва без допълнително квантизиране) и шината към паметта е 2 TBps и това ти дава към 50 TFLOPS 32FP на 300 вата.

Това са бакалийски сметки, но в зависимост от това за какво ще ползваш машината мака дава около 1/3-1/4 от производителността на 1/6 от цената.

Относно коментара за възрастта, това е един добър пост от един добър подкаст
https://www.latent.space/p/not-old

От години се опитвам да обясня, че в момента мак-овете на практика нямат конкуренция като вземеш цена/производителност/консумация - все още на пазара има няколко конкурента за две от нещата но масовката бие само по един показател - обикновено цена или производителност. И като бяха с х86 процесори + Паралелс това, че са с МакОС не беше проблем за да търкаляш линукс и боза аппки. Сега с АРМ нещата са тегави за подкарване на х86 но пък вместо това имаш без емулация почти всички иОС аппс.

Относно ИИ - наточените макове са просто мечта - адски бърз трансфер на данни между ССД и паметта където ИИ хардуера да я дъвче. Съответния х86 с подобни обеми и скорости никак не е евтин ако въобще може да се комплектова в момента от това което има по магазините. Обикновено скоростта между ССД и паметта е поне двойно по бавна, след това трябва да се прехвърли в ГПУ-то, където пък само най скъпите модели имат по 48гб и нагоре - далече от тези 180гб които HCL заделя за модел.

Подозирам, че в момента и Епъл трескаво разработват още по оптимизирани за ИИ системи и се чудя дали да не изчакам малко да видим какво ще обявят през годината. Че белгийците с техните данъци ме ядосват - тази година махнаха един лоопхол за авторски права за ИТ-тата който позволяваше да си даваш минимална заплата и да изкараш доста пари за авторски права. Сега ще ме принудят да харча и една яка машина за ИИ би си струвала инвестицията - хем ще ми докара нови клиенти през следващите няколко петилетки докато стане време за пенциониране.

МакПро е 64гб, 128гб, 192гб - натопорчен е 14к евро.
МакСтудио е със същите памети и макс цена 10к евро.
Странните големини на памети са при лаптопите - 18 и 36бг, но по наточените са пак в канона - 48, 64, 96, 128бг ... макс цена 8к евро

Интересно ми е как се оправдава разликата в цената на наточение макбук и макпро - 8 срещу 14 а нямаме чак двоен скок на параметрите.

въх - аз чертая схеми и платки, не копая биткоини, нито симулирам мозъчна дейност в реално време...тия цени са колкото лиценз за Алтиум за година разбира се, някой ще каже че е добре да имаш такъв инструмент...но в тия времена са някак повече. Предполагам, ако ми е нужен Мак - ще оживея някак и с лаптоп решението.
Интересно е тия машинки после колко излизат на старо - защото корпорациите така или иначе купуват, и после хвърлят (ако не ги "спасят")...а силиция не се износва, освен ако не изпуши.

Това са топ цените. Базовите модели за под 1000 - за 2-3 хиляди можеш да вземеш много прилична машина. Ако не ти трябва 8ТБ ССД а можеш да се оправиш с 1ТБ ССД и не ти трябват 192ГБ рам ами да речем 64ГБ то цените са наполовина. Не, че е малко, но по се ядва.

Недостатъка на МАС-овете е че понякога ъпгрейда е мисия невъзможна. Докато с обикновена машина, в зависимост от подбраните компоненти първоначално, може да си я ъпгрейднеш в последствие, без да ти режат главата.

Така е, предимството обаче е че държат цени на пазара втора ръка. Купувам М2 ултра, ползвам година, приспадам от данъци, продавам, купувам М3 ултра... и излиза по-евтино от това да се занимавам с облаци и там подобни.

Ако не можеш да го утилизираш добре обаче, е безмислено.