Clientul
Clientul nostru este una dintre instituțiile financiare consacrate din Europa, care operează în banking retail, corporate și de investiții, cu un ecosistem de date vast și complex. În spatele fiecărei tranzacții, fiecărui raport și fiecărei raportări către autoritățile de reglementare se află ani de infrastructură de date stratificată — una care, în timp, devenise profund încâlcită cu un Data Warehouse Oracle legacy și un mediu de procesare SAS.
Datele erau esențiale pentru operațiunile lor. Dar părți din platforma pe care rulau deveniseră o vulnerabilitate.
Provocarea
Până în 2025, echipele de ingineria datelor se confruntau cu o problemă familiară multor companii mari: infrastructura care susținea fluxurile-cheie de analiză și raportare le ținea în loc.
Anumite baze de date Oracle DWH — cele responsabile de alimentarea raportării la nivel de grup — acumulaseră ani de dependențe, cu aplicații care livrau date prin pipeline-uri strâns cuplate. Costurile de licențiere creșteau. Scalabilitatea era limitată. Și, pe măsură ce restul lumii datelor se îndrepta către platforme cloud-native, deschise, aceste componente legacy rămâneau o insulă.
Întrebarea nu era dacă să modernizeze — ci cum să o facă fără a perturba operațiunile critice de raportare
„Dependențele erau adânci. Fiecare aplicație avea propriile particularități, propriile tipuri de date, propriile tipare de ingestie. Nu puteam pur și simplu să facem lift-and-shift — a trebuit să reconstruim cu precizie.”
Parcursul
Echipele de date ale băncii au evaluat cu atenție traseele de migrare. Simpla înlocuire a unui instrument cu altul nu era suficientă — aveau nevoie de o arhitectură care să scaleze, să susțină guvernanța modernă a datelor și să ofere echipelor de inginerie flexibilitate pentru anii următori.
Decizia: migrarea către Databricks folosind o Arhitectură Medallion — o abordare stratificată în care datele brute ajung într-un Strat Bronze, sunt curățate și structurate într-un Strat Silver, și puse la dispoziție pentru consum în aval.
Dar alegerea destinației a fost partea ușoară. Adevărata provocare a fost execuția.
Descoperirea
Pentru a executa o migrare de această amploare — care afecta aplicații bancare live, menținând în același timp integritatea datelor — banca avea nevoie de ingineri de date experimentați, capabili să demareze rapid. S-au îndreptat către IDS Consulting, specialist în data warehousing și expertiză de date externalizată.
IDS Consulting a integrat o echipă dedicată de ingineri de date seniori direct în departamentul băncii, lucrând alături de echipele interne ca o extensie fără sincope a forței de muncă a acestora.
Soluția
IDS Consulting a proiectat și executat migrarea de la Oracle DWH la Databricks — strat cu strat, aplicație cu aplicație. Abordarea a urmat Arhitectura Medallion:
- Strat Bronze: Date brute ingerate din sistemele sursă, păstrând istoricul și lineage-ul complet
- Strat Silver: Date curățate, standardizate și cu regulile de business aplicate — pregătite pentru consum în aval
Migrarea a vizat scoaterea din uz a bazelor de date Oracle DWH folosite pentru raportarea de grup, eliminând costurile de licențiere Oracle și SAS asociate, aliniind în același timp aceste pipeline-uri critice cu strategia Databricks pe termen lung a băncii.
Implementarea
Proiectul a fost lansat în T3 2025, cu o finalizare estimată în 2027 — o abordare deliberată, etapizată, care a prioritizat integritatea datelor în detrimentul vitezei. Echipa IDS Consulting a întâmpinat — și a rezolvat — două provocări tehnice semnificative:
Provocarea 1 — Lipsa suportului pentru ingestia XML
Două aplicații critice pentru business livrau date în format XML. Databricks, la momentul migrării, nu avea suport nativ pentru ingestia XML. În loc să blocheze progresul sau să forțeze o rescriere riscantă direct din sursă, echipa a conceput o soluție pragmatică: extragerea datelor din DWH History, în loc de direct din sursă. Aceasta a păstrat continuitatea datelor, menținând în același timp migrarea pe drumul cel bun.
Provocarea 2 — Maparea tipurilor de date & metadatelor
Un sistem sursă prezenta neconcordanțe complexe de tipuri de date între schemele Oracle și Databricks. Echipa a dezvoltat un strat personalizat de mapare a tipurilor de date, gestionând cazurile limită în transpunerea metadatelor pentru a se asigura că nicio dată nu s-a pierdut sau nu a fost convertită greșit în timpul migrării.
Ambele soluții reflectă abordarea de bază a IDS Consulting: livrarea unor soluții pragmatice, de nivel producție, în condițiile constrângerilor reale — nu doar arhitecturi teoretice.
Rezultatele
Migrarea este în plină desfășurare, iar primele rezultate confirmă deja investiția:
- Reducerea costurilor de licențiere: Dependențele de Oracle și SAS legate de pipeline-urile de raportare de grup sunt scoase sistematic din uz, eliminând costuri semnificative și recurente de licențiere
- Scalabilitate îmbunătățită: Arhitectura cloud-native a Databricks elimină plafoanele de capacitate care limitau platforma legacy
- Pipeline de date modernizat: Fluxurile de raportare de grup sunt acum aliniate cu platforma Databricks strategică a băncii — permițând analitică mai rapidă, o guvernanță a datelor mai bună și o datorie tehnică redusă
- Zero pierderi de date: În ciuda provocărilor complexe legate de XML și metadate, migrarea a menținut integritatea completă a datelor pe toate aplicațiile migrate
„Până în 2027, banca își va fi migrat complet pipeline-urile de date pentru raportarea de grup, ieșind din Oracle și SAS — înlocuind complexitatea legacy cu o platformă de date scalabilă, eficientă din punct de vedere al costurilor și pregătită pentru viitor.”
Livrat de IDS Consulting — Expert Data Services.