A HAZAI MATEK ÉRETTSÉGIVEL TESZTELTÉK MUSK MI PLATFORMJÁT

Az xAI a 2023 magyarországi matematika érettségisor megoldásával hívta fel a figyelmet arra, hogy valós tesztekben is jól szerepel a Grok.
Szécsi Dániel (DemonDani)
Szécsi Dániel (DemonDani)
2023. nov. 8. 11:37
A hazai matek érettségivel tesztelték Musk MI platformját

Elon Musk és az xAI nevű vállalata is beszállt a generatív MI technológiák versenyébe. Meglehetősen erős indulónak tűnik az eddigiek alapján a Grok névre hallgató chatbot, valamint a mögötte álló Grok-1 nagy nyelvi modell. A szolgáltatást már valódi életből vett tesztekkel is próbálgatják.

Ahogy a mesterséges intelligencia megoldások terjedni kezdtek, úgy több különböző, többnyire szintetikusnak tekinthető teszt is megjelent, ami a rendszerek képességeit igyekszik felmérni. Korábban beszámoltunk arról, hogy az xAI mérései alapján a Grok nagyon jól teljesít például a programozási feladatokban, és a teszteredményei alapján valahol a GPT-3.5 és a GPT-4 között van a teljesítménye általánosan nézve, a Meta által fejlesztett Llama 2-t pedig képes überelni.

De mi a helyzet akkor, ha megkapja a Grok MI a hazai matematika érettségi legutolsó, 2023-as év eleji tesztsorát? Nos, a nagy nyelvi modell ilyenkor sem okoz csalódást. Ahogy arról már szó volt, sajnos magyarul nem beszél egyelőre a Grok, csak az angolra fókuszál jelenleg, éppen ezért az érettségi angolra fordított verzióját kapta meg a rendszer. Ennek van hivatalos angol verziója is, szóval nem az xAI fejlesztői csapata fordította le a nagy nyelvi modellnek.

A generatív MI egy nagyon erős 3-as érdemjegynek megfelelő eredményt tudott elérni, 59 százalékot hozott össze, szóval csak egy hajszálon múlt a jobb jegy.

A Grok-1 mellett részt vett ezen a teszten a GPT-3.5 és a GPT-4 nyelvi modell, a Grok-0 33 milliárd paraméterrel dolgozó prototípus, valamint a Claude 2 is. Ezek közül csak a GPT-4 tudott jobb pontszámot összehozni, mint a Grok-1 LLM. A Grok-0 még 2-est kapott, a GPT-3.5 éppen, hogy átcsúszott egy nagyon gyenge 3-assl, a Claude 2 pedig megközelítette a Grok-1-et.

Galéria megnyitása

Kiemelte az xAI, hogy nem készítették fel erre a tesztre a nyelvi modellt, tényleg valós megmérettetés volt ez a rendszer számára. A tisztaság érdekében teljesen azonos körülmények között tesztelték ezeket a platformokat, mondhatni ugyanabba az osztályterembe ülve tölthették ki a tesztet.

Arról az xAI közleménye nem szól, hogy miért éppen a magyar érettségire esett a választás, de aligha véletlenről van szó. Elon Musk csapatában ugyanis van egy magyar kutató is, Christian Szegedy, aki korábban a Google-nél is dolgozott, az xAI csapatában pedig kiemelt szerepet tölt be, hiszen alapítótagként volt kiemelve már az induláskor. Jó eséllyel Szegedy dönthetett úgy, hogy ezzel tesztelik a Grok-1-et, hisz ráadásul éppen az ő szakterülete a matematika.

Galéria megnyitása

Érdekesség, hogy a Grok bejelentése nemcsak az MI területre gyakorolt hatást, hanem a kriptopiacra is. Az elmúlt napokban rengeteg olyan kriptovaluta bukkant fel, ami valamilyen formában a Grok nevet próbálja meglovagolni. Ezekkel jobbára tekintélyes pénzeket lehet elbukni, miközben a legnagyobb rizikót vállalók a busás profit reményében tolnak ilyenekbe komoly összegeket.

A Crptopolitan beszámolója szerint több mint 400 Grok inspirálta kriptovaluta jelent meg rövid idő alatt, de valószínűleg ez a szám mostanra lényegesen nagyobb.

Hírlevél feliratkozás
A feliratkozással elfogadom a Felhasználási feltételeket és az Adatvédelmi nyilatkozatot.

25 hozzászólás

A komment írásához előbb jelentkezz be!
pdx006
pdx006
2023. nov. 8. 19:30
#4

Utaltam rá korábban is, hogy hiába csináltat meg az ember akármilyen feladatot AI-val, nem lehet benne biztos hogy jó vagy nem, csak ha alapból tudja a megoldást. Így meg csak szerencsejáték az egész ha valaki mittomén puskázásra akarná felhasználni. Amúgy se azért vannak ezek a feladatok nagyrésze hogy alkalmazni lehessen az életben, mert nem sok olyan munka vagy helyzet van ahol másodfokú egyenletrendszerekkkel kéne foglalkozni, inkább azért hogy kialakuljon valamilyen szintű logika magában az emberben.

BiroAndras
BiroAndras
2023. nov. 9. 20:35

@pepeno1

Miért ne lenne képes rá? A működésük nagyon hasonló az emberi gondolkodáséhoz, annyira hogy sok esetben a pszichológia is működik rajtuk. Például nagyobb eséllyel ad jó választ ha a korábbi beszélgetés pozitív érzelmi töltetű. És az is mérhetően javítja a teljesítményüket, ha az mondod nekik, hogy fontos a helyes válasz.

Balucsek
Balucsek
2023. nov. 8. 15:50
#3

Persze tudom még új a piacon meg külön tréningezhetőek stb stb... De azért elég félelmetesen hangzik, hogy általános célra feltanítva az esetek több mint harmadában hibázik és egyre inkább arra megy a világ, hogy vakon megbízik az AI-kban és ész nélkül átveszik az általuk előálított tartalmakat, és ki tudja mikor fog egy másik vagy akár ugyan az az AI a saját maga által generált hülyeségek alapján "tanulni".

BiroAndras
BiroAndras
2023. nov. 9. 20:46

@VikMorroHun

Sokan bíznak meg mindenfélében amiben nem egyértelműen kellene. Biztosan te is kaptál már olyan levelet, vagy olvastál olyan hozzászólást valahol, ami egyértelmű átverés. Na ilyenekre nem pazarolnának időt és energiát, ha nem működnének.

Vagyis ez a probléma nem új, és így nem is fogja romba dönteni a civilizációt. Ez kb. olyan mint régen azok a hírek, hogy valaki vakon követte a GPS utasításait és befordult egy nemlétező útra, meg hasonlók.

És, ahogy már ítam, ahol komolyan használják ott ismerik a gyengéit és tudják kezelni őket. Sokféle technika létezik a hallucináció csökkentésére. Kezdve azzal, hogy nem az ingyenes modelt használod, hanem a fizetőset. Vagy másik egyszerű trükk, hogy bemásolod a választ egy új munkamenetbe, és megmondod az AI-nak hogy keressen hibát benne. Az is fontos hogyan fogalmazol, ez mostanra külön szakma (prompt engineering).

thestock
thestock
2023. nov. 8. 15:27
#2

Christian Szegedy - szép magyar név

pepeno1
pepeno1
2023. nov. 9. 11:50

@thestock ha átforgatod, akkor Szegedy Krisztián. Szerintem teljesen rendben van. Hol itt a probléma?

Resike
Resike
2023. nov. 8. 14:28
#1

Általános matek érettségi egy kibaszott számítógépnek bazdmeg. Adjanak neki egy egyetemi diszkrét matek vizsgát ahol nem csak a számológépet kell használni és 60% alatt buksz...

BiroAndras
BiroAndras
2023. nov. 15. 21:36

@Resike

  1. De MATLAB nem oldja meg a feladatot helyetted, csak egy eszköz, ami a számolást megkönnyíti. A ChatGPT az egész feladatot megoldja az értelmezéstől kezdve. És ugyanúgy használhat hozzá eszközöket, akár MATLAB-ot is.
    Általában is olyan dolgokat lehet vele automatizálni, amihez korábban mindenképp emberre volt szükség.

  2. Te vagy a szar mindenben. Mint már sokszor elmagyaráztam, egyetemi szintű teszteken is jól szerepel. https://www.bestcolleges.com/news/openai-gpt4-here-passing-more-exams/
    És az ember se ért mindenhez egyformán jól.
    Az univerzális megoldás előnye pont az, hogy univerzális. Ha sepcifikus problémát akarsz megoldani, akkor specifikus eszközt kell használni. Erre való a finomhangolás és pár másik trükk. https://www.youtube.com/watch?v=ahnGLM-RC1Y

  3. Te vagy az alternatív hülyeség. Te magad is írtál feladatokat, nem kell túlkombinálni.

  4. Tessék itt a feladatsor amire a cikk hivatkozik: https://dload-oktatas.educatio.hu/erettsegi/feladatok_2023tavasz_kozep/k_mat_23maj_fl.pdf 45 perc van 12 feladatra. A gép kb. 10 perc alatt végez az egésszel. Vannak persze triviális feladatok közte, de olyan is amihez kell gondolkodni meg számolni.

  5. És az emberek legnagyobb része nem tudná megoldani ezeket. Még azok se akik épp érettségiznek. Ha olyan könnyű lenne, akkor nem látná el a feladatát.

  6. És mégegyszer, pont az a lényeg hogy ne az embernek kelljen megoldani a feladatot. Még ha tudná is, és esetleg nem sokkal lassabban, akkor is mentális erőfeszítést igényel. Ezért létezik például motor is, és nem csak bicikli.

  7. A program látványosan jó eredményt ad, tehát nem hülyeség. Csak te vagy képtelen elolvasni. Inkább vérpistikét játszol megint.

  8. Szóval a múltkor nem voltál szuper programozó? Kikeressem amiket ítál?

  9. Szövegértés nulla megint. Idézem : "A gráfos feladatnál az első kettőt hibásan értelmezte"

Vissza az oldal tetejére