A Financial Times egy érdekes információra tett szert a minap, ami rávilágíthat arra, mi minden okozhatja a DeepSeek legújabb nagy nyelvi modelljének késését. Azt már korábban is pedzegették, hogy a késés egyik fő oka az lehet, hogy az Nvidia HGX H20-as gyorsítókártyáiból hiány alakult ki, hiszen az amerikai kormányzat még tavasszal döntött úgy, betiltja e termékek Kínába történő exportját. Nemrégiben változás állt be a helyzetben, ismét engedélyezték a HGX H20-as modellek Kínába történő szállítását, ám az átmeneti időszak a jelek szerint sok kellemetlenséget okozott a különböző kínai vállalatok, így a DeepSeek számára is.
Ezzel együtt más is szerepet játszhatott abban, hogy az R2 LLM fejlesztése elhúzódik, ez pedig nem más, mint az, hogy a kínai vezetés azt szerette volna, ha a DeepSeek fejlesztőcsapata az Nvidia hardverei helyett inkább a Huawei Ascend sorozatú AI gyorsítóit veti be az új generációs nagy nyelvi modell fejlesztése során. Ennek a kérésnek eleget is tettek, a Huawei termékein kezdték el tréningezni az R2-es modellt, ám a folyamat több nehézségbe is ütközött: a Huawei Ascend sorozatú AI gyorsítók instabilak voltak teljesítmény terén, lassú volt a chipek közötti kommunikáció, illetve a Huawei CANN szoftveres keretrendszere is limitálta a lehetőségeket.
A nehézségek miatt a fejlesztés tempója is elmaradt a várttól, éppen ezért a DeepSeek-nél úgy döntöttek, a tréning szakaszhoz ismét az Nvidia hardvereit vetik be, viszont a dedukciós folyamatokat a Huawei Ascend AI gyorsítóival végeztetik el. Ez igazából egy szükségmegoldás volt, amit kompromisszumként alkalmaztak, hiszen egyrészt a Huawei hardvere nem volt elég ütőképes a tréninggel kapcsolatos munkafolyamatok zökkenőmentes és gyors elvégzéséhez, másrészt Nvidia hardverből sem állt rendelkezésre annyi, amennyire szükség lett volna, pont az újabb amerikai exportkorlátozások miatt.
A Huawei próbálta menteni a menthetőt, külön mérnökcsapatot küldtek a DeepSeek főhadi szállására, hogy megoldják a tréninggel kapcsolatos problémákat, de nem jártak sikerrel, így az R2-es modell esetében végül csak a dedukciós folyamatot gyorsították a Huawei Ascend sorozatú megoldásai.
Lényegében a fentiek együttesen okozták azt, hogy a DeepSeek R2 LLM végül nem rajtolt el májusban, nemcsak az, hogy az Nvidia AI gyorsítóiból nem állt rendelkezésre elegendő mennyiség. Az egyébként még mindig nem derült ki, hogy azóta elkészültek-e a tréning folyamatával, de az mindenképpen előrelépés lehet, hogy legalább a dedukció működik Huawei hardveren, viszont idővel a tréningezést is meg kell oldaniuk, hogy kevésbé függjenek az Nvidia hardvereitől. Ez persze nem lesz egyszerű, hiszen az Nvidia CUDA ökoszisztémája millió csápjával behálózza az AI ipart, illetve az egyéb területeket is, nehéz kiváltani, illetve helyettesíteni.
Arról nem esett szó, hogy az R2 modell fejlesztéséhez pontosan mekkora számítási teljesítményt vetettek be. Az R1 esetében a korábbi hírek szerint 50 000 darab Hopper alapú AI gyorsító végezte a munka oroszlánrészét, ezek között 30 000 HGX H20-as, 10 000 H800-as, illetve 10 000 H100-as modell volt jelen. Az R2 fejlesztéséhez ennél természetesen nagyobb számítási teljesítményre lehetett szükség, de hogy pontosan mekkorára, arra majd csak később derülhet fény.
