Akár a ChatGPT-val, akár a Barddal csevegünk, tudnunk kell, hogy a „tudásuk” valahol messze van tőlünk, no persze az internetnek köszönhetően ez szinte észre sem vehető. Az Apple viszont valami egész mással készül, és a felhasználó zsebébe tenné a mesterséges intelligenciát. A vállalat mesterséges intelligenciával foglalkozó kutatói ugyanis – írja a MacRumors – egy innovatív flashmemória-használati technika kidolgozásával elérték, hogy a nagy nyelvi modelleket (LLM-eket) közvetlenül az iPhone-okra és más, korlátozott memóriával rendelkező Apple eszközökre lehessen telepíteni.

Az LLM alapú chatbotok köztudottam óriási adat- és memóriaigényesek, ami problémát jelenthet például egy iPhone számára, amelynek messze nem végtelen a memóriája. Másként fogalmazva: a nagy teljesítményű modellek jelentős memóriát igényelnek a tároláshoz, a hagyományos okostelefonok, mint például a 8 GB memóriával gazdálkodó iPhone 15 pedig nehezen teljesítik a potenciálisan több százmilliárd paraméterrel rendelkező modellek igényeit.Ezért is gondoltak az Apple kutatói arra, hogy memóriafronton újítanak, és egy olyan új technikát fejlesztettek ki, amelyik flashmemóriát használ az MI-modell adatainak tárolására. Módszerük ügyesen megkerüli a korlátozást két kulcsfontosságú technikával, amelyek minimalizálják az adatátvitelt és maximalizálják a flashmemória átviteli sebességét.

Kutatási cikkünkben kétféle módszert említenek a szerzők. Az „ablakozás” egyfajta újrahasznosítási módszer. Ahelyett, hogy minden alkalommal új adatokat töltene be, a MI-modell újra felhasználja a már feldolgozott adatok egy részét. Ez csökkenti az állandó memória-lehívás szükségességét, ami gyorsabbá és gördülékenyebbé teszi a folyamatot.

A „sor-oszlop kötegelés” egy olyan technika, mintha egy könyvet nagyobb darabokban olvasnánk el egy-egy szó helyett. Az adatok a hatékonyabb csoportosítással gyorsabban kiolvashatók a flashmemóriából, felgyorsítva az AI nyelvértési és -generálási képességét.

YouTube/Apple Circle

E módszerek kombinációja lehetővé teszi, hogy a MI-modellek akár kétszer akkora futást végezzenek, mint az iPhone rendelkezésre álló memóriája. Ez 4-5-szörös sebességnövekedést jelent a szabványos processzorokon, és lenyűgöző, 20-25-ször gyorsabbat a grafikus processzorokon. „Ez az áttörés különösen döntő fontosságú a fejlett LLM-ek erőforrás-korlátozott környezetekben történő telepítéséhez, ezáltal kiterjesztve alkalmazhatóságukat és hozzáférhetőségüket" – írják a kutatók.

A mesterséges intelligencia hatékonyságának ilyen fajta áttörése új lehetőségeket nyit meg a jövő iPhone-jai számára, mint például a fejlettebb Siri képességek, valós idejű nyelvi fordítás, valamint a kifinomult mesterséges intelligencia által vezérelt funkciók a fotózásban és a kiterjesztett valóságban. A technológia egyúttal megalapozza az iPhone-ok számára is, hogy bonyolult mesterségesintelligencia-asszisztenseket és chatbotokat fussanak magán az eszközön.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.