Provocarea: Un data mart care nu mai făcea față
Clientul — un grup bancar cu operațiuni atât la nivel de grup, cât și locale — avea nevoie, mai presus de orice, de un singur lucru: acces rapid și centralizat la date pentru analitică avansată și raportare. Ce avea în schimb erau date împrăștiate între un Data Lake de grup bazat pe Hadoop și un data mart separat, bazat pe Oracle, cu probleme reale de integrare între cele două.
Raportarea și analitica avansată pentru funcția de Controlling aveau de suferit ca urmare. Procesele manuale făceau raportarea lentă și predispusă la erori, iar problemele de performanță de pe partea Oracle însemnau că, de multe ori, chiar și nevoile analitice de rutină rămâneau neîndeplinite.
Descoperirea: Construind pe un parteneriat existent
IDS Consulting era deja integrată în mediul de date al clientului, oferind integrare de date și suport tehnic pe platforma de Big Data Analytics a grupului. Când limitările data mart-ului bazat pe Oracle au devenit un blocaj pentru Controlling, extinderea acestei expertize de big data într-o soluție dedicată a fost pasul următor firesc — în loc să se continue cu petice aplicate configurației Oracle existente.
Soluția: Un data mart dedicat de Big Data Analytics pentru Controlling
IDS a proiectat și construit un nou data mart analitic, dedicat Controlling-ului, construit în întregime pe tehnologii de big data, nu pe stack-ul Oracle al clientului. Noua platformă a mutat mart-ul de pe Oracle pe Hadoop, consolidând datele de grup și cele locale într-un mediu centralizat și scalabil, capabil să susțină atât procesare la scară largă, cât și raportare avansată.
Soluția a fost construită pe:
- Procesare & interogare. PySpark, Python, SparkSQL, Hive și Impala, rulând pe Hadoop.
- Operațiuni & automatizare. Scripturi shell pentru orchestrare și gestionarea pipeline-urilor.
- Dezvoltare & colaborare. JupyterHub pentru analiză, Git și Bitbucket pentru controlul versiunilor, și GitHub Copilot cu mai multe modele AI pentru a accelera dezvoltarea.
Bătălia: Stabilitate sub sarcină mare
Migrarea unui data mart critic pentru Controlling de pe Oracle pe Hadoop, menținându-l în funcțiune, este o provocare; menținerea lui stabil sub o utilizare continuă și intensivă este alta. Cel mai mare test pentru echipa IDS a fost exact acesta — asigurarea că noua platformă face față unei utilizări zilnice intense și identificarea și rezolvarea erorilor apărute în stratul de consum, punctul în care Controlling-ul și managementul își extrag efectiv datele.
Niciun blocaj extern major nu a încetinit proiectul; provocarea a fost strict tehnică, rezolvată prin activitatea continuă de depanare și stabilizare a echipei.
Rezultatele: O singură platformă pentru analitica de grup și locală
- Acces consolidat, pe o singură platformă. Datele de grup și cele locale se află acum pe o singură platformă de big data, scalabilă, înlocuind separarea fragmentată Oracle/Data Lake.
- Producție și raportare semnificativ mai rapide. Rulările de producție care obișnuiau să dureze ore întregi pe mart-ul bazat pe Oracle se finalizează acum într-o fracțiune din timp — o reducere estimată de 50–60% a timpului de procesare end-to-end, unele rapoarte care rulau anterior peste noapte fiind acum disponibile în aceeași zi.
- Analitica avansată, în sfârșit deblocată. Nevoile de raportare și analitică pe care problemele de performanță și integrare le făceau anterior imposibile sunt acum susținute integral.
- Echipă suplă, integrată. O echipă IDS de 2 persoane proiectează, construiește și susține platforma.
- Construită pentru a continua să evolueze. Platforma este în prezent în curs de migrare către Databricks (dbx), cu îmbunătățiri continue adăugate peste aceasta.