szerző:
hvg.hu
Tetszett a cikk?

A Jobmonitor.hu Hadoop alapú rendszerre való áttéréséről számolt be a a Precognox, az álláskereső weboldal motorjának fejlesztője. Az új megoldás lehetővé teszi a kiszolgáló hardverek zökkenőmentesebb bővítését.

A Hadoop egy, az Apache által fejlesztett nyílt forráskódú szoftver-architektúra, mely nagy adathalmazokat kezel feladatmegosztásban. A Precognox többek között az erőforrások hatékonyságának növelésére használja a rendszert a Jobmonitor kiszolgálásánál, mivel a rendszer flexibilis és horizontálisan skálázható. Emellett minimalizálja az adatveszteség lehetőségét, ugyanis a Hadoop elosztott fájlrendszere (Hadoop Distributed File System - HDFS) a munkába bevont számítógépek között szétosztott, redundáns adatcsomagokkal operál. Ez azonban nem jelent teljesítménycsökkenést, a MapReduce technológia lehetővé teszi a párhuzamos adatfeldolgozást az egyes számítógépek között. A Precognox elosztott ETL megoldása HBase NoSQL adatbázist használ, mely nagy számú adatsor és oszlop kezelésére alkalmas.
HVG

HVG-előfizetés digitálisan is!

Rendelje meg a HVG hetilapot papíron vagy digitálisan, és olvasson minket bárhol, bármikor!