Az elmúlt 1,5 évben a semmiből olyan sok generatív MI technológiát nyújtó szolgáltatás jelent meg, hogy ezeket napestig lehetne szünet nélkül sorolni. Sok megoldás született egy kaptafára, de azért akadnak olyan, amik képesek valami pluszt is nyújtani, és ilyen lenne az Nvidia Chat With RTX szoftver is. A CES-en jelentette be az Nvidia, hogy lehetőséget nyújt majd a felhasználóknak arra, hogy személyre szabott MI chatbotot használjanak.
A Chat With RTX egy bemutató alkalmazás a számítógépekre, ami lehetőséget nyújt arra, hogy egyedi GPT rendszert, chatbotot hozzon létre az ember egy nagy nyelvi modellt alkalmazva. A szolgáltatás keretei között a felhasználók a saját dokumentumaikat (PDF, XML, DOCX), jegyzeteiket használhatják majd fel. Egyelőre még nem derült ki minden erről a fejlesztésről, de azt például megtudhattuk, hogy videókat is támogat. Illetve a videókhoz kapcsolódó feliratokat tudja feldolgozni akár YouTube hivatkozásokból is. Szóval nem magát a videót támogatja és kezeli – egyelőre.
Az Nvidia kártyái rengeteg mesterséges intelligencia szolgáltatás mögött megtalálhatóak a felhős platformok révén. Ennek köszönheti a vállalat, hogy a tavalyi évben kirobbanó formában volt. A fejlesztéseit pedig igyekszik a lehető legtöbb módon kihasználni, ezért alkotja meg a Chat With RTX rendszert. Itt már a felhasználók gépében dolgozó RTX kártya képes futtatni a helyben tárolt adatokon tréningezett nyelvi modellt.
Kiemelte az Nvidia, hogy ez a legbiztonságosabb formája a chatbotok használatának, mivel minden helyben fut a Windows rendszerű, RTX videokártyával felszerelt személyi számítógépen. Illetve a cég elmondása alapján helyi munkaállomásokat is be lehet majd fogni a Chat With RTX alkalmazás használatára. A kérdésekre a válaszok gyorsan meglesznek annak köszönhetően, hogy nem kell az online kapcsolatra támaszkodni, és persze offline is üzemelni fog az egyedileg tanított chatbot.
Elárulta az Nvidia, hogy a felhasználóknak elég lesz a feldolgozni kívánt dokumentumokat egy mappába összeszedni, és onnan betölthető lesz minden automatikusan a saját könyvtárba. Ez pillanatok alatt lezajlik általános körülmények között, szóval nem kell attól tartani, hogy hosszas folyamatnak néz elébe, aki használatba szeretné venni a Chat With RTX szoftvert.
Az Nvidia hozzátette, hogy a githubon nyíltan elérhető TensorRT-LLM RAG (Retrieval Augmented Generation) referencia projektek felhasználásával hozta létre a Chat With RTX-et. Ezt az érdeklődő fejlesztők nyíltan felhasználhatják a továbbiakban iránymutatásként, hogy saját alkalmazásokat építsenek fel saját RAG alapon, az RTX-eket kihasználva a TensorRT-LLM révén. Az Nvidia azt szeretné elérni, hogy még több MI projekt valósuljon meg Windowsra az RTX kártyákban rejlő potenciált kihasználva.
A vállalat a CES-en új kártyákat jelentett be, és a Chat With RTX-et már a DLSS 3-mal és az RTX Remix platformmal emlegette együtt, mikor arról beszélt, hogy milyen új generatív MI élményekben részesülhetnek a felhasználók az RTX PC-k mellett. A testreszabott chatbot alkalmazást az Nvidia még ebben a hónapban hozzáférhetővé teszi, a CES-en pedig már kipróbálhatták ezt a látogatók.
