Ma már könnyen elérhetők a különböző mesterségesintelligencia-modellek, azonban ezek mind távoli szervereken, azaz felhőben dolgoznak. Az Apple viszont forradalmi áttörést sejtet azzal, hogy közvetlenül az iPhone-ba zárná a MI-t.
Akár a ChatGPT-val, akár a Barddal csevegünk, tudnunk kell, hogy a „tudásuk” valahol messze van tőlünk, no persze az internetnek köszönhetően ez szinte észre sem vehető. Az Apple viszont valami egész mással készül, és a felhasználó zsebébe tenné a mesterséges intelligenciát. A vállalat mesterséges intelligenciával foglalkozó kutatói ugyanis – írja a MacRumors – egy innovatív flashmemória-használati technika kidolgozásával elérték, hogy a nagy nyelvi modelleket (LLM-eket) közvetlenül az iPhone-okra és más, korlátozott memóriával rendelkező Apple eszközökre lehessen telepíteni.
Az LLM alapú chatbotok köztudottam óriási adat- és memóriaigényesek, ami problémát jelenthet például egy iPhone számára, amelynek messze nem végtelen a memóriája. Másként fogalmazva: a nagy teljesítményű modellek jelentős memóriát igényelnek a tároláshoz, a hagyományos okostelefonok, mint például a 8 GB memóriával gazdálkodó iPhone 15 pedig nehezen teljesítik a potenciálisan több százmilliárd paraméterrel rendelkező modellek igényeit.Ezért is gondoltak az Apple kutatói arra, hogy memóriafronton újítanak, és egy olyan új technikát fejlesztettek ki, amelyik flashmemóriát használ az MI-modell adatainak tárolására. Módszerük ügyesen megkerüli a korlátozást két kulcsfontosságú technikával, amelyek minimalizálják az adatátvitelt és maximalizálják a flashmemória átviteli sebességét.
Kutatási cikkünkben kétféle módszert említenek a szerzők. Az „ablakozás” egyfajta újrahasznosítási módszer. Ahelyett, hogy minden alkalommal új adatokat töltene be, a MI-modell újra felhasználja a már feldolgozott adatok egy részét. Ez csökkenti az állandó memória-lehívás szükségességét, ami gyorsabbá és gördülékenyebbé teszi a folyamatot.
A „sor-oszlop kötegelés” egy olyan technika, mintha egy könyvet nagyobb darabokban olvasnánk el egy-egy szó helyett. Az adatok a hatékonyabb csoportosítással gyorsabban kiolvashatók a flashmemóriából, felgyorsítva az AI nyelvértési és -generálási képességét.
E módszerek kombinációja lehetővé teszi, hogy a MI-modellek akár kétszer akkora futást végezzenek, mint az iPhone rendelkezésre álló memóriája. Ez 4-5-szörös sebességnövekedést jelent a szabványos processzorokon, és lenyűgöző, 20-25-ször gyorsabbat a grafikus processzorokon. „Ez az áttörés különösen döntő fontosságú a fejlett LLM-ek erőforrás-korlátozott környezetekben történő telepítéséhez, ezáltal kiterjesztve alkalmazhatóságukat és hozzáférhetőségüket" – írják a kutatók.
A mesterséges intelligencia hatékonyságának ilyen fajta áttörése új lehetőségeket nyit meg a jövő iPhone-jai számára, mint például a fejlettebb Siri képességek, valós idejű nyelvi fordítás, valamint a kifinomult mesterséges intelligencia által vezérelt funkciók a fotózásban és a kiterjesztett valóságban. A technológia egyúttal megalapozza az iPhone-ok számára is, hogy bonyolult mesterségesintelligencia-asszisztenseket és chatbotokat fussanak magán az eszközön.
Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.
Kudarcba fullad a kormány hónapok óta tartó küzdelme, hogy betiltsa a Pride felvonulást. A HVG élő közvetítése.
A tiltottá lett Pride üzenete aktuálisabb, mint valaha.
Ha azonban az országos adatokat nézzük, akkor fele-fele arányban támogatják és utasítják el a rendezvényt a magyarok.
A Tisza Párt elnöke úgy nyilvánult meg félreérthetetlenül a Pride-ról, hogy le sem írta a rendezvény nevét.
Nehéz-Posony Kata, a HVG ügyvédje minden kérdésre válaszol.
Felsővezeték-szakadás volt.
Freddie Mercury kezében sem állt ilyen hetykén a vasaló.
Páncélos tábornok irányítja az Irán elleni háborút.
A nagy hőség miatt kellett lépni.
Pár nappal az Európa-bajnokság kezdete előtt.
