Igencsak jól jött és jön a korszerű grafikus processzorairól ismert Nvidiának a mesterséges intelligencia előretörése. Most is egy újabb világrekordot mondhat a magáénak ennek köszönhetően.
Újabb mesterséges intelligencia világrekordot döntött az Nvidia a Meta eddigi legnagyobb és legerősebb Llama 4 Maverick nagyméretű nyelvi modelljével. Megdöntötte a MI következtetési sebességrekordját: egyetlen Nvidia DGX B200 csomópont nyolc Nvidia Blackwell GPU-val hajtva több mint 1000 token/másodperc (TPS) sebességet tudott elérni felhasználónként az említett 400 milliárd paraméteres modellen. Ezt a sebességet a független Artifical Analysis MI-platform mérte.
A TPS/felhasználó egy, a mesterséges intelligenciával kapcsolatos teljesítménymérőszám, amely a felhasználónként és másodpercenként mért tokenek számát jelenti. A tokenek az olyan LLM-alapú szoftverek alapját képezik, mint a Copilot vagy a ChatGPT: amikor valaki beír egy kérdést a ChatGPT-be vagy a Copilotba, akkor az egyes szavak és karakterek jelentik a tokeneket. Az LLM ezeket a tokeneket veszi, és a programozásának megfelelően ezek alapján ad ki egy választ.
A felhasználónkénti TPS az egyfelhasználós teljesítményértékelésre szolgál. Ez a módszer fontos az MI chatbotok fejlesztői számára, hogy jobb felhasználói élményt nyújtsanak. Minél gyorsabban tud ugyanis egy GPU-klaszter másodpercenként és felhasználókként tokeneket feldolgozni, annál gyorsabban válaszol a chatbot.
Az Nvidia most 31 százalékkal felülmúlta az előző rekordert, a SambaNovát: 1038 TPS/felhasználót vs. 792 TPS/felhasználó. Az Artificial Analysis benchmark jelentése szerint az Nvidia és a SambaNova mindenki előtt jár ebben a teljesítménymutatóban.
Az Nvidia kiterjedt szoftveroptimalizálást végzett, hogy a legtöbbet hozza ki a Blackwell GPU-kból, és egy spekulatív dekódolási vázlatmodellt is kiképezett. Ezek kombinálásával tudott négyszeres gyorsulást elérni a korábbi legjobb Blackwellhez képest.
A mostani rekord, az 1000 TPS/felhasználó határ átlépése nem csupán technikai bravúr, hanem egy ugrás afelé, hogy a mesterséges intelligencia gyorsabb és praktikusabb legyen a valós használatban. Az egyik X-felhasználó úgy fogalmazott, hogy a Blackwell teljesítménye megalapozza a mesterséges intelligencia alkalmazások új korszakát, amely gyorsabbnak tűnik, mint eddig bármikor.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
Amióta a légitársaságok súlyos tízezreket számolnak fel a poggyászért, az nyer, aki megtanul praktikusan pakolni. Jobb előre felkészülni, hogy amikor tényleg odajutunk, pár perc alatt végezzünk vele, és a helyszűke se okozzon gondot. Íme tíz tipp egy veterán utazótól, hogy indulás előtt és után is flottul menjen minden.
Lehetséges forgatókönyvek.
Súlyos betegség Romániában azonosított juhhimlő, amely gazdasági károkat is okozhat.
Furcsa részeletek derültek ki a HUN-REN Irányító Testületének üléséről. Miért szavaz valaki igennel az átalakításra, ha aztán lemond?
