szerző:
HVG
Tetszett a cikk?

Igencsak jól jött és jön a korszerű grafikus processzorairól ismert Nvidiának a mesterséges intelligencia előretörése. Most is egy újabb világrekordot mondhat a magáénak ennek köszönhetően.

Újabb mesterséges intelligencia világrekordot döntött az Nvidia a Meta eddigi legnagyobb és legerősebb Llama 4 Maverick nagyméretű nyelvi modelljével. Megdöntötte a MI következtetési sebességrekordját: egyetlen Nvidia DGX B200 csomópont nyolc Nvidia Blackwell GPU-val hajtva több mint 1000 token/másodperc (TPS) sebességet tudott elérni felhasználónként az említett 400 milliárd paraméteres modellen. Ezt a sebességet a független Artifical Analysis MI-platform mérte.

A TPS/felhasználó egy, a mesterséges intelligenciával kapcsolatos teljesítménymérőszám, amely a felhasználónként és másodpercenként mért tokenek számát jelenti. A tokenek az olyan LLM-alapú szoftverek alapját képezik, mint a Copilot vagy a ChatGPT: amikor valaki beír egy kérdést a ChatGPT-be vagy a Copilotba, akkor az egyes szavak és karakterek jelentik a tokeneket. Az LLM ezeket a tokeneket veszi, és a programozásának megfelelően ezek alapján ad ki egy választ.

A felhasználónkénti TPS az egyfelhasználós teljesítményértékelésre szolgál. Ez a módszer fontos az MI chatbotok fejlesztői számára, hogy jobb felhasználói élményt nyújtsanak. Minél gyorsabban tud ugyanis egy GPU-klaszter másodpercenként és felhasználókként tokeneket feldolgozni, annál gyorsabban válaszol a chatbot.

Az Nvidia most 31 százalékkal felülmúlta az előző rekordert, a SambaNovát: 1038 TPS/felhasználót vs. 792 TPS/felhasználó. Az Artificial Analysis benchmark jelentése szerint az Nvidia és a SambaNova mindenki előtt jár ebben a teljesítménymutatóban.

Artifical Analysis

Az Nvidia kiterjedt szoftveroptimalizálást végzett, hogy a legtöbbet hozza ki a Blackwell GPU-kból, és egy spekulatív dekódolási vázlatmodellt is kiképezett. Ezek kombinálásával tudott négyszeres gyorsulást elérni a korábbi legjobb Blackwellhez képest.

A mostani rekord, az 1000 TPS/felhasználó határ átlépése nem csupán technikai bravúr, hanem egy ugrás afelé, hogy a mesterséges intelligencia gyorsabb és praktikusabb legyen a valós használatban. Az egyik X-felhasználó úgy fogalmazott, hogy a Blackwell teljesítménye megalapozza a mesterséges intelligencia alkalmazások új korszakát, amely gyorsabbnak tűnik, mint eddig bármikor.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.

HVG

HVG-előfizetés digitálisan is!

Rendelje meg a HVG hetilapot papíron vagy digitálisan, és olvasson minket bárhol, bármikor!