Чатът се справя доста добре с анализ на картини.




Между другото във връзка с паметника на бузлуджа съвсем случайно попаднах на една книга, на чиято корица е сложен точно този монумент като забележително изоставено място:
https://www.awesomebooks.com/book/97817 ... fcb47eb0f6

Чакай да излезе вижън про-то

ИИ-то "разрешено" ли му е да чете "Капиталът", "Моята борба", "Тъй рече Заратустра", "1984" и други приятни, неприятни, стойности и не тоюкова, или дори извратени четива....Мога само да фантазирам какви ще са резултатите....

Ами 2029 година изглежда все по близо

Аааа'ре на'ще. Оле!
https://bggpt.ai/

Случвало ми се е чат пат фейса да има проблеми със зареждането на картинките в тайм-линията. При това положение, вместо картинки, има едноцветно поле и с текст описание на това, което трябва да е изобразено. Очевидно са машинно генерирани описания при това доста точни.

Току що подкарах open source модела Goliath на Mak-a. Алокира 150 ГБ, но върви стабилно с 5 токена/секунда при 800 GB/s натоварване на паметта, като способностите му са на едно ниво с ChatGPT-3.5 Ако някой ми беше казал миналия Декември, че до една година ще подкарам нещо по-добро от ChatGPT локално нямаше да повярвам. Нещата се случват бързо...

Джобни калкулатори има от много време...

Някой знае ли а това чудо къде са му настройките
"ChatGPT на три ракии" , "ChatGPT с махмурлук" и подобни ?

Какво е това нещо, би ли обяснил с думи прости моля? Търсех, за да се образовам и не попаднах май на подходящите резултати за такъв Goliath. Някакъв опън сорс за IoT ли е, framework, алтернатива на ChatGPT? Защото самият чат ми каза, че не знае за неговото съществуване и ме прати да си търся и чета сам.

Мак-а ти с 192ГБ РАМ ли е?

М2 Ултра с 192 GB, като от тях около 184 мога да алокирам на графичната карта. Въпросният модел е на около месец и буквално е сглобен от 2 допълнително тренирани Llama 2 модела всеки от по 70е9 параметъра. За се вмъкне в паметта е квантифициран от 16 до 8 бита, но въпреки това резултатите са впечатляващи. Съпостваката на уменията на моделите е сложна тема, но от това което виждам е на равно с ChatGPT3.5. Имайки в предвид, че дърпа само 50W докато върви на 60-те ядра на графиката, това си мини-революция. Засега ще продължа да си ползвам Mixtral MoE 8x7b модела, защото алокира само 50 ГБ и върши работа. Така имам 130 на разположение да тренирам на заден фон, но Голиата е впечатляващ. И двата модела са отворени, то и това е сложна тема, но да кажем, че можеш да ги модифицираш и ползваш комерсиално без да питаш. Голита като дериват на Ламата произлиза от Мета, а Микстрала е от френския стартъп, който забърса 400 милиона преди 6 месеца. Добре са ги използвали. Готиното на Микстрала е, че пасва и в Макбука с 64ГБ памет. Иначе казано мобилно ИИ.

За обучаване преминах на епълския MLX backend но за инфериране ползвам този на Георги Герганов. Едно от най-видните лица в сферата е българин. Ако не сте го чували, препоръчвам да му разгледате проектите. Над 10к форка...

https://github.com/ggerganov/llama.cpp

Яка машина

Чудех се дали да не взема натокан мак и аз ама накрая взех за половината пари АМД с 128 гиги ... като му добавя и ГПУ сигурно ще мине по цена Мака без да го бие по производителност. Ама по ми върши работа за ембедед линуксите та не съжалявам за избора, пък и вече си изби парите.

Г.Герганов го финансираха и направи ggml на стартъп - дали даже не наема и хора в момента ... браво на момчето, така се прави, те и по старите му проекти са интересни.

Я дай някакъв линк ако има сдъвкано като за програмист как точно работи обучението и съответно после се търкаля модела? Разбрах, че никой не разбира как точно работи модела ама то това не е целта. Т.е. как мога да направя примерно модел с всички книги от читанката или пък с всички коментари в този форум без да п0олзвам питоня ами на чисто Ц/Ц++ както е ГГМЛ? Между другото сорса на ГГМЛ е кошмарен за четене, огромни файлове с хиляди линии - немам в момента време да го задълбая и затова търся нещо по разбираемо като за дърто куче като мен.