Adatbázis migráció Apache Spark

szavazat
0

Meg kell végrehajtani migráció egyik absztrakt adatbázisból a másikba (lehetővé teszi például, mondjuk Oracle Cassandra), és azt akarjuk, hogy az Apache Spark Streaming erre. Ez nem egy egyszerű feltérképezése fajta egyik db másik, hanem magában foglalja összetett átalakításokat és érvényesítése. Egy tipikus eset, hogy ellenőrizze, mielőtt érvényesítése / átalakulás néhány állapotára adatok RDD keresztül keres egy kapcsolatai ezt az értéket értékek az egész (talán még más) adatok (például az esetekben, amikor a mi értéket RDD használják más asztal és azt akarjuk, hogy ellenőrizze ezt, és végre néhány műveletet minden egyes előfordulás előfordulás).

Tehát van egy lehetőség az Apache Ignite vele megosztott RDD megoldani ezt a problémát. És amikor megkapja ezeket az adatokat, amelyek szükség külső ellenőrzést ez összefüggést mutat a többi adatot a teljes migrációs hatálya akkor egyszerűen megy meggyújtani (ami lehet használni, mint egy temprorary tárolás ilyen esetekben), ellenőrizze összefüggések és elvégezni az összes a Szükséges intézkedések a mi értéket.

Tehát nem smb ilyen tapasztalata és milyen tipikus problémák fogunk valószínűleg megfelelne. Ez egy jó gyakorlat, hogy az ilyen architektúra, vagy lehet ez lehet tenni a hatékonyabb és jobb kialakítás a Spark?

A kérdést 18/12/2017 09:42
felhasználó
Más nyelveken...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more