Hadoop-alapokon a Jobmonitor

A Jobmonitor.hu Hadoop alapú rendszerre való áttéréséről számolt be a a Precognox, az álláskereső weboldal motorjának fejlesztője. Az új megoldás lehetővé teszi a kiszolgáló hardverek zökkenőmentesebb bővítését.

  • hvg.hu

A Hadoop egy, az Apache által fejlesztett nyílt forráskódú szoftver-architektúra, mely nagy adathalmazokat kezel feladatmegosztásban. A Precognox többek között az erőforrások hatékonyságának növelésére használja a rendszert a Jobmonitor kiszolgálásánál, mivel a rendszer flexibilis és horizontálisan skálázható. Emellett minimalizálja az adatveszteség lehetőségét, ugyanis a Hadoop elosztott fájlrendszere (Hadoop Distributed File System - HDFS) a munkába bevont számítógépek között szétosztott, redundáns adatcsomagokkal operál. Ez azonban nem jelent teljesítménycsökkenést, a MapReduce technológia lehetővé teszi a párhuzamos adatfeldolgozást az egyes számítógépek között. A Precognox elosztott ETL megoldása HBase NoSQL adatbázist használ, mely nagy számú adatsor és oszlop kezelésére alkalmas.

Hozzászólások
2026 44. lapszám