Szeretne azonnal értesülni a legfontosabb hírekről?
Az értesítések bekapcsolásához kattintson a "Kérem" gombra!
Az értesítés funkció az alábbi böngészőkben érhető el: Chrome 61+, Firefox 57+, Safari 10.1+
Köszönjük, hogy feliratkozott!
Hoppá!
Valami hiba történt a feliratkozás során, az oldal frissítése után kérjük próbálja meg újra a fejlécben található csengő ikonnal.
Már feliratkozott!
A böngészőjében az értesítés funkció le van tiltva!
Ha értesítéseket szeretne, kérjük engedélyezze a böngésző beállításai között, majd az oldal frissítése után kérjük próbálja meg újra a fejlécben található csengő ikonnal.
[{"available":true,"c_guid":"da883272-a0ab-4a37-b768-c2d632fab43d","c_author":"HVG","category":"360","description":"Marc Augé etnológus-antropológus szerint a biciklizés sokkal több az egészséges testmozgásnál, a bicikli egy praktikus közlekedési eszköznél. ","shortLead":"Marc Augé etnológus-antropológus szerint a biciklizés sokkal több az egészséges testmozgásnál, a bicikli egy praktikus...","id":"20250419_hvg-Marc-Auge-A-biciklizes-dicserete-konyv","image":"https://img.hvg.hu/Img/ffdb5e3a-e632-4abc-b367-3d9b3bb5573b/da883272-a0ab-4a37-b768-c2d632fab43d.jpg","index":0,"item":"51bc866c-077d-4950-b129-12502c3d04fb","keywords":null,"link":"/360/20250419_hvg-Marc-Auge-A-biciklizes-dicserete-konyv","timestamp":"2025. április. 19. 16:15","title":"„Biciklire fel, és jobb lesz az életünk!” – a kerékpározás története az antropológus szemével","trackingCode":"RELATED","c_isbrandchannel":false,"c_isbrandcontent":false,"c_isbrandstory":false,"c_isbrandcontentorbrandstory":false,"c_isbranded":false,"c_ishvg360article":true,"c_partnername":null,"c_partnerlogo":"00000000-0000-0000-0000-000000000000","c_partnertag":null},{"available":true,"c_guid":"1bf0a7ca-b023-474b-8d6b-6b4a1b435e35","c_author":"Proktis-M ","category":"brandchannel","description":"Az aranyér egy kellemetlen, sokszor fájdalommal járó állapot, amely megkeserítheti a leghétköznapibb tevékenységeket is. Ahogy számos kórkép vagy megbetegedés esetében, itt is a megelőzés a legjobb út, de nem árt vigyázni, mert ha túlzásba esünk, akkor többet ártunk, mint használunk.","shortLead":"Az aranyér egy kellemetlen, sokszor fájdalommal járó állapot, amely megkeserítheti a leghétköznapibb tevékenységeket...","id":"20250228_Ferfiak-aranyer-sport-biztonsa-proktis","image":"https://img.hvg.hu/Img/ffdb5e3a-e632-4abc-b367-3d9b3bb5573b/1bf0a7ca-b023-474b-8d6b-6b4a1b435e35.jpg","index":0,"item":"cc1d9662-df2f-4868-9ecf-183d48b06d7b","keywords":null,"link":"/brandchannel/20250228_Ferfiak-aranyer-sport-biztonsa-proktis","timestamp":"2025. április. 19. 15:30","title":"Férfiak és az aranyér: így sportoljon biztonságosan","trackingCode":"RELATED","c_isbrandchannel":true,"c_isbrandcontent":false,"c_isbrandstory":false,"c_isbrandcontentorbrandstory":false,"c_isbranded":true,"c_ishvg360article":false,"c_partnername":"Proktis-M","c_partnerlogo":"a0e2b63f-e8d5-4c40-b3e8-aaa57a007b03","c_partnertag":""},{"available":true,"c_guid":"13043463-ba8f-406f-a8d9-dc34b9ac83ae","c_author":"HVG","category":"vilag","description":"Szabálytalan módon, a kongresszus értesítése és a határidők betartása nélkül vehették le Rogán Antalt az USA szankciós listájáról – mutatta be két ellenzéki szenátor.","shortLead":"Szabálytalan módon, a kongresszus értesítése és a határidők betartása nélkül vehették le Rogán Antalt az USA szankciós...","id":"20250419_Rogan-Antal-szankcio-lista-torvenyserto","image":"https://img.hvg.hu/Img/ffdb5e3a-e632-4abc-b367-3d9b3bb5573b/13043463-ba8f-406f-a8d9-dc34b9ac83ae.jpg","index":0,"item":"d512123c-4436-4c2f-811e-51cc67bc3e7c","keywords":null,"link":"/vilag/20250419_Rogan-Antal-szankcio-lista-torvenyserto","timestamp":"2025. április. 19. 12:26","title":"Törvényt sértve vehették le Rogán Antalt a szankciós listáról két amerikai szenátor szerint","trackingCode":"RELATED","c_isbrandchannel":false,"c_isbrandcontent":false,"c_isbrandstory":false,"c_isbrandcontentorbrandstory":false,"c_isbranded":false,"c_ishvg360article":false,"c_partnername":null,"c_partnerlogo":"00000000-0000-0000-0000-000000000000","c_partnertag":null},{"available":true,"c_guid":"021e4c01-d041-4df4-91dd-fa37536f52b8","c_author":"Pálúr Krisztina","category":"360","description":"Több mint egy évvel azután, hogy letartóztatták az egyik jógaszekta román vezetőjét, Gregorian Bivolarut, szervezetének egy volt tagja elmesélte, őt hogyan hálózták be és használták ki. Nem az ő története az egyetlen, amelyben felbukkan egy magyar szál. ","shortLead":"Több mint egy évvel azután, hogy letartóztatták az egyik jógaszekta román vezetőjét, Gregorian Bivolarut, szervezetének...","id":"20250420_gregorian-bivolaru-tantra-joga-atman-misa-szekta-aldozatok","image":"https://img.hvg.hu/Img/ffdb5e3a-e632-4abc-b367-3d9b3bb5573b/021e4c01-d041-4df4-91dd-fa37536f52b8.jpg","index":0,"item":"7e442bda-ecc0-4d47-a2a7-98b7c28f9a4d","keywords":null,"link":"/360/20250420_gregorian-bivolaru-tantra-joga-atman-misa-szekta-aldozatok","timestamp":"2025. április. 20. 13:30","title":"A szexmunkát felszabadításként állították be, az erőszak a beavatás része volt – megszólalt a román jógaszektás guru egyik áldozata","trackingCode":"RELATED","c_isbrandchannel":false,"c_isbrandcontent":false,"c_isbrandstory":false,"c_isbrandcontentorbrandstory":false,"c_isbranded":false,"c_ishvg360article":true,"c_partnername":null,"c_partnerlogo":"00000000-0000-0000-0000-000000000000","c_partnertag":null},{"available":true,"c_guid":"17507a22-6271-4f99-ba2e-7bb7fe1fc344","c_author":"HVG","category":"gazdasag","description":"Nem figyel oda a vámpárti tanácsadó, gyorsan sietni kell lebeszélni Trumpot – nagyjából így nézhetett ki a WSJ értesülése szerint a vámháború felfüggesztése.","shortLead":"Nem figyel oda a vámpárti tanácsadó, gyorsan sietni kell lebeszélni Trumpot – nagyjából így nézhetett ki a WSJ...","id":"20250419_Wall-Street-Journal-trump-vamhaboru-navarro-vamok-usa","image":"https://img.hvg.hu/Img/ffdb5e3a-e632-4abc-b367-3d9b3bb5573b/17507a22-6271-4f99-ba2e-7bb7fe1fc344.jpg","index":0,"item":"4e8630a1-9772-4a70-9981-a32df34a7382","keywords":null,"link":"/gazdasag/20250419_Wall-Street-Journal-trump-vamhaboru-navarro-vamok-usa","timestamp":"2025. április. 19. 09:34","title":"Wall Street Journal: Akkor vették rá Trumpot a vámháború felfüggesztésére, amikor a tanácsadója pár percre kiment az irodából","trackingCode":"RELATED","c_isbrandchannel":false,"c_isbrandcontent":false,"c_isbrandstory":false,"c_isbrandcontentorbrandstory":false,"c_isbranded":false,"c_ishvg360article":false,"c_partnername":null,"c_partnerlogo":"00000000-0000-0000-0000-000000000000","c_partnertag":null},{"available":true,"c_guid":"001cc521-a06d-4d17-9635-27a8f17fd631","c_author":"HVG","category":"elet","description":"A légitársaság szerint az ilyenkor kötelező vizsgálat húzódott el.","shortLead":"A légitársaság szerint az ilyenkor kötelező vizsgálat húzódott el.","id":"20250419_wizz-air-jaratkeses-repuloter-varakozas-madrid-budapest-jarat-villamcsapas","image":"https://img.hvg.hu/Img/ffdb5e3a-e632-4abc-b367-3d9b3bb5573b/001cc521-a06d-4d17-9635-27a8f17fd631.jpg","index":0,"item":"63a2f9d7-ef9c-4de9-a10d-48355db74c81","keywords":null,"link":"/elet/20250419_wizz-air-jaratkeses-repuloter-varakozas-madrid-budapest-jarat-villamcsapas","timestamp":"2025. április. 19. 19:09","title":"Egy napja várnak Madridban a Wizz Air budapesti járatának utasai, mert villám csapott a repülőgépbe","trackingCode":"RELATED","c_isbrandchannel":false,"c_isbrandcontent":false,"c_isbrandstory":false,"c_isbrandcontentorbrandstory":false,"c_isbranded":false,"c_ishvg360article":false,"c_partnername":null,"c_partnerlogo":"00000000-0000-0000-0000-000000000000","c_partnertag":null},{"available":true,"c_guid":"297176bc-569b-4442-b36d-09d5945a74cb","c_author":"hvg.hu","category":"hvgkonyvek","description":"A babka talán a kalácsok királynője: szép, puha és finom, megállja a helyét desszertként, péksüteményként, sőt reggeli fogásként is. Íme a kalács gluténmentes változatának receptje a Fenséges mentes sütemények című könyvből.","shortLead":"A babka talán a kalácsok királynője: szép, puha és finom, megállja a helyét desszertként, péksüteményként, sőt reggeli...","id":"20250418_Kalacs-helyett-babka-Ime-a-dios-csoda-glutenmentes-receptje-husvetra","image":"https://img.hvg.hu/Img/ffdb5e3a-e632-4abc-b367-3d9b3bb5573b/297176bc-569b-4442-b36d-09d5945a74cb.jpg","index":0,"item":"80b00f7f-2bee-4707-a409-eebc338d8508","keywords":null,"link":"/hvgkonyvek/20250418_Kalacs-helyett-babka-Ime-a-dios-csoda-glutenmentes-receptje-husvetra","timestamp":"2025. április. 18. 19:15","title":"Kalács helyett babka? Íme a diós csoda gluténmentes receptje húsvétra!","trackingCode":"RELATED","c_isbrandchannel":false,"c_isbrandcontent":false,"c_isbrandstory":false,"c_isbrandcontentorbrandstory":false,"c_isbranded":false,"c_ishvg360article":false,"c_partnername":null,"c_partnerlogo":"00000000-0000-0000-0000-000000000000","c_partnertag":null},{"available":true,"c_guid":"c98dc123-24d1-48fb-af8d-083e8e99ee6f","c_author":"HVG","category":"tudomany","description":"A gépen már rajta voltak a Xiamen Airlines légitársaság színei, vasárnap reggel mégis a cég amerikai gyártóközpontjában landolt.","shortLead":"A gépen már rajta voltak a Xiamen Airlines légitársaság színei, vasárnap reggel mégis a cég amerikai gyártóközpontjában...","id":"20250420_boeing-kina-vam-repulogep-visszakuldes","image":"https://img.hvg.hu/Img/ffdb5e3a-e632-4abc-b367-3d9b3bb5573b/c98dc123-24d1-48fb-af8d-083e8e99ee6f.jpg","index":0,"item":"847e485e-e045-4fcf-ac76-31fca50c84b4","keywords":null,"link":"/tudomany/20250420_boeing-kina-vam-repulogep-visszakuldes","timestamp":"2025. április. 20. 09:47","title":"Visszaküldtek Kínából a Boeingnek egy új repülőgépet a brutális vám miatt","trackingCode":"RELATED","c_isbrandchannel":false,"c_isbrandcontent":false,"c_isbrandstory":false,"c_isbrandcontentorbrandstory":false,"c_isbranded":false,"c_ishvg360article":false,"c_partnername":null,"c_partnerlogo":"00000000-0000-0000-0000-000000000000","c_partnertag":null}]
Nem kell mindig nagy hardver a nagy ötletekhez: egy mérnöknek sikerült úgy kicsinyítenie egy nagy nyelvi modellt, hogy az ráfér egy pendrive-ra.
A nagy nyelvi modellek (LLM-ek) a mesterséges intelligencia speciális ágát képviselik: a természetes nyelvi feldolgozásra összpontosítanak. Ezek a modellek, élükön a GPT-vel képesek szövegeket megérteni, elemezni és létrehozni. Korszerű változataik több tíz- vagy akár százmilliárd paramétert is felhasználnak válaszaik generálásához. Nem véletlen, hogy óriási számítási teljesítményt, hatalmas adatközpontokat igényelnek – fel is róják gyakran, hogy mennyire nem kímélik a környezetet.
Azonban a nagy nyelvi modelleknek nem is kell annyira nagynak lenniük ahhoz, hogy működjenek. Vannak korlátozott hardveres, fogyasztói PC-kre tervezett LLM-ek is, sőt, egy találékony szoftvermérnök, a YouTuber Binh valami még kisebbet és hordozhatóbbat tervezett, és egy kicsi USB-meghajtóra helyezett egy „nagy” nyelvi modellt.
YouTube/Build with Binh
Ez a flash-drive azonban nem szokványos – magyarázza a Hackaday. Egyedi 3D-nyomtatott tokjában egy apró Raspberry Pi Zero W számítógép található. Ezen a szerény hardveren fut a llama.cpp, a Meta LLaMA modelljének könnyű változata. Ez így egyszerűnek hangzik, azonban a szoftver működésbe hozása cseppet sem volt egyszerű a Raspberry Pi-n. A llama.cpp legújabb verziója ugyanis ARMv8 processzorokhoz készült, míg a Raspberry Pi Zero W a régebbi ARMv6 utasításkészletet futtatta. Ezért gondosan el kellett távolítania az ARMv8 optimalizálását, azaz meg kellett változtatni a forráskódot.
Ezzel azonban még nem volt vége a munkának. Arról is gondoskodni kellett, hogy az LLM bármilyen számítógépen, illesztőprogramok nélkül fusson, és viszonylag egyszerűen lehessen használni. Binh ezt az akadályt is sikerrel vette, és az LLM használatához nem kell mást tennie, mint csatlakoztatni az USB-meghajtót, létrehozni egy üres szövegfájlt, amit el kell nevezni. A modell ezután automatikusan generál szöveget és elmenti a fájlba. Mivel az LLM-mel pusztán a fájlrendszeren keresztül lehet kommunikálni, így elérhetővé válhat telefonon, táblagépen vagy tévén, amennyiben az eszköz rendelkezik USB-porttal és fájlkezelővel.
💪 I created the first USB in the world that has LLM running locally on it. Cherry on top of the cake, it requires no dependency, you can connect it to any computer, create a new file and the content will be automatically generated from the USB side.
Ez a megoldás persze messze nem olyan gyors, mint azok, amelyek mögött felhőalapú számítástechnika áll, viszont nagyszerű bizonyítéka a koncepciónak. Binh szerint ez az első plug-and-play USB-alapú LLM a világon, és ebben valószínűleg igaza van. Az igazsághoz persze hozzátartozik, hogy jelenleg nem kínál valós használati esetet, mivel nagyon lassú, viszont a megoldás rávilágít arra, hogy milyen lehet a beágyazott LLM a jövőben. Az egyszerűségen és a hordozhatóságon kívüli nagy előnye, hogy míg a nagy modellek rengeteg energiát igényelnek, ami hozzájárul a szén-dioxid-kibocsátáshoz, az ilyen kisebb, hatékonyabb modellek csökkenthetik ezt a karbonlábnyomot.