Mesterséges intelligenciáról és szuperszámítógépről hallva óhatatlanul óriási szerverek jutnak az eszünkbe, azonban az egyesült államokbeli Tiiny startup újdonságát látva érdemes felülírni ezt az elképzelést.
„A felhőalapú mesterséges intelligencia figyelemre méltó előrelépést hozott, de függőségi, sebezhetőségi és fenntarthatósági kihívásokat is teremtett – mondta Samar Bhoj, a Tiiny AI amerikai startup igazgatója, utalva a felhőalapú szolgáltatásoktól való függőséggel, az adatvédelemmel és a növekvő energiaköltségekkel kapcsolatos növekvő aggodalmakra. Ezekre adtak választ a Tiiny AI Pocket Labbel, amely a helyi mesterséges intelligencia általi feldolgozás fenntarthatóbb és biztonságosabb alternatíváját kínálja a felhőalapú rendszerekkel szemben.
Az említett eszköz egy egészen kicsi, akár tenyérben is elférő mini szupergép, amely adatközpont szintű AI-s feladatvégrehajtásra képes, akár 190 billió számítási művelet is végezhet másodpercenként. Ez a 190 TOPS egyébként nem általános számítási teljesítmény, hanem a speciálisan optimalizált AI-műveletekre vonatkozik. Csak összehasonlításképpen: egy tipikus laptop CPU-nál 1-5 TOPS, az Apple M szériás NPU-jánál pedig nagyjából 15-38 TOPS ez az érték.
A kompakt méretű (kb. 14,2 x 8 x 2,53 cm-es) és 300 gramm tömegű mini PC-t kifejezetten arra tervezték, hogy internet- vagy felhőkapcsolat nélkül futtasson nagy nyelvi modelleket (akár 120 milliárd paramétereset) teljesen helyben, azaz ezen a kicsi gépen. A Pocket Labben egy 12 magos ARMv9.2 CPU és egy egyedi tervezésű NPU dolgozik. Az AI szempontjából fontos nagyméretű következtetési terheléseket egy 80 GB-os LPDDR5X memória és egy 1 TB-os SSD támogatja. Mindeközben a készülék viszonylag kevés energiát fogyaszt. Olyan használati eseteket tesz lehetővé, mint a többlépéses érvelés, a tartalomgenerálás, a mély kontextus megértése és a biztonságos személyes memória – mutat rá a Gizmochina. És ami a lényeg: eközben minden felhasználói adatot és interakciót helyben, banki szintű titkosítással tárol, így nincs szükség internet-hozzáférésre vagy külső szerverekre.
Tiiny AI
A mini szupergép két kulcsfontosságú technológiára támaszkodik, amelyek lehetővé teszik a nagyméretű AI-modellek futtatását kis eszközökön. Az egyik egy AI-optimalizációs technika, a TurboSparse, amely a ritka (sparse) neurális hálózatok gyors futtatásában segít, főleg LLM-ek és nagy mátrixműveletek esetén. Tulajdonképpen kihagyja a neurális hálók „üres részeit”, és ezzel jelentősen csökkenti a számítási igényt, azaz nagy modellek is futhatnak kis, alacsony fogyasztású eszközökön.
A másik egy nyílt forráskódú motor, a Powerinfer, amely a CPU és az NPU között osztja el az AI-alapú munkaterhelést, hogy javítsa a teljesítményt, kis energiafogyasztás mellett. Ezek a fejlesztések együttesen teszik lehetővé a Pocket Lab számára, hogy GPU-szintű AI-teljesítményt nyújtson, kompakt formában – összegzi az Interesting Engineering. A Pocket Labre számos nyílt forráskódú LLM egyetlen kattintással telepíthető.
A tervek szerint a nagytudású AI-s szuperkomputert a január elején induló technológiai világkiállításon, a CES 2026-on mutatják be. A terméket fejlesztők, kutatók, szakemberek és diákok számára pozícionálták, akiknek hordozható és – ami igen lényeges – privát AI-képességekre van szükségük.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
