Az AMD egy érdekes teszttel rukkolt elő a minap, amellyel azt szerették volna szemléltetni, milyen jól teljesít a vállalat aktuális csúcskártyája, a Radeon RX 7900 XTX a nemrégiben berobbant DeepSeek különböző bonyolultságú nagy nyelvi modelljei alatt az Nvidia GeForce RTX 4090-es, illetve GeForce RTX 4080 Super típusú videokártyáival szemben.
A DeepSeek lehetőséget ad arra, hogy úgynevezett disztillált nagy nyelvi modelleket töltsünk le, amelyek a felhőben futó verzió korlátozottabb tudással rendelkező verziójának tekinthetőek. Ezek a nagy nyelvi modellek aztán helyi eszközökön futhatnak, így nem vagyunk sem a felhőhöz, sem az internetkapcsolathoz kötve, igaz, a lehetőségek tárháza limitáltabb.
Az AMD belsős tesztjei többféle LLM verziót tartalmaztak, ezek alatt eltérő sebességkülönbségek mutatkoztak a fentebb említett három videokártya között: ahogy egyre nőtt a paraméterek száma, úgy egyre csökkent a Radeon RX 7900 XTX előnye a GeForce-okhoz képest. A GeForce RTX 4090-hez mérve a Distill Qwen 7B teszt alatt 13%-os, a Distill Llama 8B alatt 11%-os, míg a Distill Qwen 14B teszt esetében 2%-os előnyt tudott felmutatni a Radeon RX 7900 XTX, míg a Distill Qwen 32B teszt alkalmával már 4%-os hátrányba került riválisával szemben.
A GeForce RTX 4080 Super-hez mérve már természetesen nagyobbak voltak a teljesítménykülönbségek. A Distill Qwen 7B tesztben 34%-os, a Distill Llama 8B teszt alkalmával 27%-os, míg a Distill Qwen 14B teszt esetében 22%-os volt a Radeon RX 7900 XTX előnye, ami nem hangzik rosszul.
Noha az RDNA 3 architektúra sajátosságai miatt ütőképes lehet a Radeon RX 7000-es széria AI feladatok alkalmával, hiszen rendelkezésre áll az ehhez szükséges támogatás (BF16/INT8), valamint AI gyorsítókat is tartalmaz a dizájn – a Radeon RX 7900 XTX esetében például 192 egységet. Ennek ellenére mégsem népszerűek a Radeon RX 7000-es sorozat tagjai az AI-hoz kapcsolódó munkafolyamatok szegmensében, talán azért, mert az Nvidia a CUDA ökoszisztémával uralja ezt a területet. A DeepSeek hozhat némi változást, ahogy azt a fenti példa is mutatja.
Az AMD annak érdekében, hogy a DeepSeek R1 hatékonyan munkára fogható legyen a vállalat különböző termékeivel, készített némi segédletet is, ami segít a beállítások elvégzésében és a megfelelő környezet megteremtésében. Ez az alábbi videó formájában érhető el.
