Az egyre kifinomultabb képességeinek köszönhetően a mesterséges intelligenciára épülő rendszerek egyre népszerűbbek, segítségükkel ugyanis nemcsak a természetes emberi nyelven lehet például szöveget alkotni, hanem képfelismerésre, valamint kép- és videókészítésre is használhatók. Ezekhez a feladatokhoz azonban több milliárd paraméterre van szükségük, valamint jelentős mennyiségű memóriát használnak, ami szintén növeli a számítások költségét.

Ennek csökkentésére álltak elő az izraeli Bar-Ilan Egyetem kutatói egy olyan megoldással, amely lehetővé teszi a paraméterek optimalizálását a rendszeren belül anélkül, hogy az veszélyeztetné a végeredmény minőségét. Röviden: sokkal kevesebb memória is elegendő lehet a számításokhoz – mutat rá a Physical Review E című tudományos lapban megjelent tanulmány. A szakemberek arra jutottak, hogy bizonyos rétegekben a paraméterek akár 90 százalékát is meg lehet spórolni anélkül, hogy csökkenne a rendszer pontossága.

Ido Kanter, a kutatás vezetője szerint mindez azon múlik, hogy megértsék, mi történik a mély hálózatokban, hogyan tanulnak a rendszerek és milyen paraméterek elengedhetetlenek ehhez a tanuláshoz. A szakember szerint bár eddig is voltak módszerek arra, amelyek javították a memória- és paraméterhasználatot, a mostani megoldás ezeknél jóval hatékonyabb.

Mivel a rendszerek folyamatosan fejlődnek, és egyre nagyobb az igénybevételük, nem mindegy, milyen erőforrással kell gazdálkodniuk, mennyi energiát emészt fel a működésük.

A neurális hálózatok metszése – ahogy a szakemberek nevezik a folyamatot – a redundáns – vagyis felesleges – paraméterek szisztematikus eltávolítását jelenti a modell méretének, a memóriahasználatnak és a számítási költségeknek a csökkentése érdekében.

A folyamat kétféle metszés közül választhat ki egyet: strukturált vagy strukturálatlan metszés. A strukturált metszés teljes neuronokat vagy csatornákat távolít el a hatékonyság növelése érdekében, míg a strukturálatlan metszés jelentősen növeli a hatékonyságot. A metszés befejezése után a hálózat finomhangoláson megy keresztül, hogy visszanyerje az eredeti pontosságát.

A metszés integrációja szintén két megközelítésből áll: a betanítás alatti metszésből és a betanítás utáni metszésből – magyarázza az Interesting Engineering. A betanítás alatti metszés során a folyamatot közvetlenül a betanítási fázisba integrálják, hogy az optimalizálás során eltávolítsák a kevésbé fontos neuronokat. Utóbbit viszont egy már teljesen betanított MI-modellre alkalmazzák a kevésbé fontos kapcsolatok, neuronok vagy struktúrák azonosítása és eltávolítása érdekében.

Az ismételt kiértékelés biztosítja, hogy a folyamat egyensúlyt teremt a hálózat teljesítményének fenntartása és az erőforrás optimalizálása között, ami végső soron karcsúbb, gyorsabb MI-modelleket eredményez.

A szakemberek szerint a paraméterek metszése csökkentheti a számításhoz szükséges erőforrás mennyiségét, ugyanakkor vigyázni is kell a megoldással, ugyanis a túl nagy metszés pontatlanná teheti a rendszert.

Ha máskor is tudni szeretne hasonló dolgokról, lájkolja a HVG Tech rovatának Facebook-oldalát.