2611 - iPon Black Friday Teaser

A Samsung nagyon sok figyelmet fordít a mesterséges intelligenciára, ez az okostelefonjai újításain is szépen látszik, hiszen az idei évben szinte másról sem beszélt a cég, mint a Galaxy AI. Ez a csomag sok különböző MI funkciót fog össze, és most a cég leleplezett egy olyan nyelvi modellt, ami a jövőbeli fejlesztéseknek megalapozhat.

A koreai SDC24 fejlesztői konferencián jelentette be a Samsung a Gauss2 modellt, ami egy kompakt, mégis kiválóan skálázható, és a cég szerint nagyon kiegyensúlyozott LLM megoldás lett. Tavaly jelentette be a cég a Gausst, ezt követi most a Gauss2. A fejlesztések eredményeként jobb lesz a modell teljesítménye, hatékonysága és ezeknek köszönhetően új felhasználási lehetőségek jöttek létre.

Galéria megnyitása

A Gauss továbbfejlesztése során fontos szempont volt a mérnöknek, hogy a multimodális működést új szinte emeljék. Ennek köszönhetően lehet majd változatosabban, átfogóbban használni az eszközt. Boldogul a Gauss2 képekkel, programkódokkal és persze a természetes nyelvi anyagokkal is.

A legtöbb nyelvi modellnél azt lehetett látni az utóbbi időben, hogy többféle méretben érhető el, itt sincs ez másként. A Gauss2 esetén három opcióból lehet választani, van Compact, Balanced és Supreme modell. Ezeknek a konkrétabb paramétereire sajnos nem derült fény.

Galéria megnyitása

A Gauss2 Compact modell olyan környezethez lett fejlesztve, ahol korlátozott számítási kapacitással kell beérni. Ez a megoldás szolgál arra, hogy akár mobiltelefonokon helyben üzemelni tudjon, éppen ezért a végletekig optimalizálva lett a teljesítménye, így tudja a legtöbbet kihozni a szerény hardveres környezetből. Ez az, ami okostelefonokon is bevethető lesz, és minden bizonnyal részét képezi majd a jövőben a Galaxy AI csomagnak.

A Balanced modell a teljesítmény és a hatékonyság között igyekszik egyensúlyt teremteni, és a lehető legjobb pontosság elérésére törekedik a különböző feladatokon átívelően. A Supreme modell már a csúcsteljesítményt helyezi az előtérbe, hogy minél jobb pontossággal tudjon működni. Érdekessége ennek, hogy már a MoE (Mixture-of-Experts) technikát használja, hogy a fenntartási költsége alacsonyabb legyen. Több gyártó is a MoE techikára szavazott, az xAI és a Google is alkalmazza ezt mások mellett.

Változattól függően a Gauss2 akár több mint egy tucat programozási nyelvet támogat, 9 és 14 között van a támogatott nyelvek száma. A Samsung arról beszélt, hogy egyedi technikát hozott létre a nagy nyelvi modellek tréningezésének stabilizálására, és egyedi tokenizálással dolgozik a maximális hatékonyság elérése érdekében.

Galéria megnyitása

Túl sok konkrétumot a Samsung a Gauss2 modellek teljesítményét illetően nem osztott meg, csak arról beszélt, hogy ez a legtöbb nyílt modellt képes lekörözni a kulcsfontosságú területeken. Főleg a Balanced és a Supreme modellek esetén lehet kifejezetten jó pontossággal számolni. A cég szerint a saját fejlesztései akár 1,5-3-szoros sebességre képesek a riválisokhoz képest. A nagyobb tempó pedig alacsonyabb válaszidőt eredményez, kevesebb ideig kell várnia a felhasználóknak, és részben ezáltal jobban optimalizálható a feladatok kezelése is.

A Gauss2 elsősorban munkára használatos eszközökbe épülhet majd be, a programozás és más munkafolyamatok felgyorsítására. Kiváló hatása lesz a produktivitásra. Használható programozásra, valamint általános szövegszerkesztésre, e-mailek létrehozására. Az irodai munka gördülékenyebbé tehető ezáltal, dokumentumok feldolgozása is gyorsabban fog menni, de ha támogatott nyelvekről van szó, akkor fordításra is befogható.

Elmondta a cég, hogy a Gauss2-t használja a call centerekben a hívók kategorizálására, és a telefonálók elmondhatják az MI-nek, hogy milyen gondjuk adódott, ennek pedig az összefogalóját kapják meg a dolgozók. Ez a modell is hozzájárul majd a Samsung „AI for All” víziójához, amit idén jelentett be, de a cég következő éveit meghatározhatja majd. Szép lassan minden szoftverben meg fog jelenni az MI a dél-koreaiak elképzelése szerint.

Hírlevél feliratkozás
A feliratkozással elfogadom a Felhasználási feltételeket és az Adatvédelmi nyilatkozatot.

6 hozzászólás

A komment írásához előbb jelentkezz be!
ktamail666
ktamail666
2024. dec. 2. 14:22
#3

hmm, ez valami olyannak hangzik, amitől félnap alatt lemerül majd a telefon? :)

gombabacsi
gombabacsi
2024. nov. 27. 15:39
#2

érdekelne a hw igénye az ilyesmiknek. és hogy vajon ha lesz majd használható offline ai, ahhoz milyen otthoni pc kell?

Geralt_of_Trivia
Geralt_of_Trivia
2024. nov. 27. 19:40

@gombabacsi A paraméterek száma és a tudásanyag mennyisége két külön dolog, tehát egy 3B modellel is meg lehet etetni a wikipédiát, de nem fog tudni annyira kompetensen válaszolni mint egy ChatGPT. Nagyon egyszerűen kifejezve a paraméterek száma és súlyozása dönti el, hogy milyen logikusan képes egy AI érvelni.

Persze ez a leírás ennyire leegyszerűsítve pontatlan. Lényegében a paraméterekbe van kódolva a tudásanyag, a paraméterek súlyozását módosítja az AI tanítása tudásanyaggal, tehát minél nagyobb tudásanyagot akarsz belerakni, annál hasznosabb a minél több paraméter, és minél konkrétabb/szűkebb a tudásanyag, annál kevesebb paraméter kell ahhoz, hogy a témában kompetens legyen.

Tehát az igényeddel elköveted azt a régi poént hogy, "nem kell komoly számítógép, csak a gyereknek kell játszani". Pont ez az igény követeli a komolyabb rendszert.

Geralt_of_Trivia
Geralt_of_Trivia
2024. nov. 27. 12:29
#1

Ezt a Gauss2 Compact modellt nem hiszem el nekik. Nincs az az eljárás, legyen az quantizing, pruning, offloading, layer freezing, token streaming, sparsity vagy LoRA, ami egy mobiltelefonéra csökkentené akár egy 3B modell futtatásának a hardverigényét, teljesen mindegy milyen szűk a felhasználási köre. Másodperceket laggol asztali PC vason ugyanaz, amit ők felhasználási célként akarnak telefonon, egy egyszerű code autocomplete, lényegtelen hogy milyen 3B implementációról beszélünk.

9 ezer tokennyi szöveg nem sok (kb. 6-8 oldal magyar folyószöveg, formázástól függően), és egy RTX 3060-nak még AWQ modellel is 41 másodperc választ generálnia egy offline futtatott 7B modellel. Letöltök egy szarrá optimalizált 3B modellt huggingface-ről, és ez lecsökken 12 másodpercre, míg a generált válasz a használhatatlanságig lebutul. Egyetlen transformer modell SOHA nem fog sikeresen hordozható hardveren megfelelő gyorsasággal futni (márpedig jelen pillanatban minden korszerű modell az, jobbat nem tudunk, ez a T a ChatGPT-ben).

Vissza az oldal tetejére