Már javában készül a MediaTek a Dimensity 9300 rendszerchip bevetésére, ami az egyébként is brutálisan gyors Dimensity 9200+ után még magasabbra fogja tenni a lécet. Egészen különleges felépítéssel érheti el az MTK, hogy még gyorsabb legyen a lapka, a plusz erőt pedig már az MI is helyben kihasználhatja majd.

Napjainkra a felsőkategóriás okostelefonok brutális számítási kapacitással rendelkeznek, a hétköznapi felhasználók szempontjából lényegében már feleslegesen gyorsak. Ugyanakkor szó nincs arról, hogy a gyártók csak hobbiból növelnék folyamatosan a chipek számítási kapacitását, és ne tudnák kamatoztatni az évről évre érkező újdonságokban rejlő lehetőséget. A képalkotás során például igencsak izzadhat a hardver a csúcsmobiloknál, most pedig már arról beszélhetünk, nyelvi modellek is helyben futtathatóvá válhatnak.

A Qualcomm és a MediaTek folyamatos párharcot vív, és nagyon úgy fest, hogy a mesterséges intelligencia téren sem lesz ez másként. A Qualcomm korábban bejelentette, hogy a Metával közösen megvalósítják azt, hogy a Llama 2-t „on-device” módon, tehát helyben egy okostelefonon lehessen futtatni. Most pedig a MediaTek is elmondta, hogy náluk is meglesz ez az opció a tervek szerint. Szóval a Dimensity 9300 alkalmas lesz majd arra, hogy a nagy nyelvi modellt mozgásba lendítse.

A 2024-ben (vagy talán már az idei év legvégén) érkező okostelefonok ebből a szempontból tartogathatnak majd érdekességet. Most még nem igazán lehet azt látni, hogy az Llama 2 helyben futtatásának mi lenne a gyakorlati haszna, de addig a Meta még előrukkolhat olyan alkalmazásokkal, melyek kihasználhatják majd ezt a lehetőséget. A nagy nyelvi modellek és a generatív MI-k piaca nagyon pörög, és nehéz azt megmondani, hogy egy, vagy akár csak fél év múlva éppen milyen fejlesztések fognak debütálni.

A MediaTekkel és a Qualcommal együttműködve a Meta igazából megteremti annak a lehetőségét, hogy lényegében bárki fejleszthessen generatív MI alkalmazásokat androidos készülékek millióira. Elképzelhető, hogy a Samsung is beáll majd a sorba, és akkor igazából le lenne fedve az egész piac, hiszen más chiptervező nem készít csúcsmodellekbe szánt lapkákat. Ugyebár a Google-nél látott megoldások hátterében ott áll a Samsung.

Felmerülhet a kérdés, hogy mégis miért kell helyben futtatni a rendkívül nagy számítási kapacitást igénylő szolgáltatásokat, ha ma már ezt igazából távoli szerverek gond nélkül képesek megoldani. Nos, az a helyzet, hogy azért a megbízható és korlátlanul elérhető hálózat továbbra is álom, és sok esetben nem biztosított. De egyéb előnyökkel is jár az eszközön futtatott MI.

Rögtön ott van a biztonság kérdése is. Eleve a generatív MI-re sokszor nem szívesen bíznak például érzékeny információkat, szóval van létjogosultsága egy elszigetelten, helyben futatott nyelvi modellnek, ami nem továbbítja máshova az adatokat, és nem használja fel globálisan tanulásra. A késleltetés is alacsonyabb, illetve lényegében nincs, ha helyben futhat a szolgáltatás. Fontos az is, hogy ilyen esetben többnyire konzisztens a rendelkezésre álló teljesítmény, nem függ a háttér terheltségétől.

Az sem utolsó szempont, hogy az adott szoftver fejlesztőjének olcsóbb úgy üzemeltetni egy szolgáltatást, hogy nem kell biztosítani felhős hátteres és nagy számítási kapacitást, hanem ez lényegében az ügyfelek eszközére van bízva. A Snapdragon 8 Gen 3 és a Dimenstiy 9300 egyaránt jelentős mértékben tudja gyorsítani a gépi tanulási és egyéb hasonló algoritmusokat. De azt azért látni kell, hogy az igazán nagy modellek nem itt fognak megjelenni.

Az Llama 2-t a Meta úgy tervezte meg, hogy van belőle többféle méretű, és van direkt kisebb paraméterállománnyal üzemelő, ami hordozható eszközökön is elfuthat. 7B, 13B és 70B variánsokról hallottunk eddig, és vélhetően a 7 billió paraméteres jelenhez majd meg mobilos közegben, eszközön futtatható formában.