Provocarea: Un data mart on-premise care rămânea fără spațiu de manevră
Data mart-ul analitic al clientului rula on-premise pe Hadoop — și își arăta vârsta în două privințe specifice.
În primul rând, resursele erau partajate între toți stakeholderii care foloseau platforma. Pe măsură ce volumul de lucru de producție și cererea de business continuau să crească, acel pool comun de resurse a devenit un blocaj. În zilele de vârf, sistemul se putea bloca în întregime, degradând simultan serviciul pentru job-urile de producție și pentru stratul de consum — fără nicio modalitate de a le izola unul de celălalt.
În al doilea rând, platforma nu oferea garanții de tranzacții ACID. Fără acest strat de consecvență, fiabilitatea datelor rămânea expusă, un risc tot mai mare pentru o bancă în care echipele de Controlling și management depind de cifre de încredere.
Descoperirea: Un partener tehnic pentru tranziția către cloud
Clientul avea nevoie de mai mult decât un simplu „lift-and-shift” — avea nevoie de un partener capabil să transpună o soluție on-premise existentă într-una cloud-native, fără a pierde ce funcționa deja. IDS Consulting a fost adusă pentru a oferi suport tehnic practic și consultanță pentru migrarea către Databricks.
Soluția: O migrare structurată și validată către Databricks
IDS a început prin analizarea proceselor, cadrului de lucru și nevoilor actuale ale clientului, pentru a se asigura că trecerea la Databricks era coerentă cu modul în care business-ul folosea efectiv platforma — nu doar o portare tehnică.
De acolo, echipa și-a asumat:
- Migrarea pipeline-urilor. Reconstruirea și mutarea pipeline-urilor de date existente pe Databricks, folosind PySpark și SparkSQL.
- Depanare și validare. Verificarea sistematică a faptului că procesele migrate rulau corect și că datele rezultate corespundeau așteptărilor.
- Livrare cu control al versiunilor. Gestionarea migrării prin Git și Bitbucket, menținând tranziția trasabilă și colaborativă.
Bătălia: Demonstrarea faptului că datele pot fi de încredere
Cea mai mare provocare a proiectului a fost validarea datelor — confirmarea, pas cu pas, că datele migrate în cloud sunt pe deplin consecvente cu ce producea soluția on-premise. Pentru un client bancar, această reconciliere nu este opțională; este condiția prealabilă pentru a avea încredere în noua platformă. Nu au apărut până acum alte constrângeri neașteptate.
Rezultatele: Construită pentru scalare, construită pentru consecvență
Migrarea către Databricks vizează direct cele două probleme structurale ale configurației on-premise:
- Scalabilitate elastică și izolarea workload-urilor. Databricks separă resursele între workload-uri, eliminând conflictul care permitea cererii din zilele de vârf să blocheze atât producția, cât și stratul de consum.
- Tranzacții ACID. O capabilitate pe care soluția on-premise nu a avut-o niciodată, acum integrată în platformă — oferind Controlling-ului și managementului o garanție de consecvență pe care vechiul data mart nu o putea oferi.
- O echipă de livrare suplă și concentrată. Doi consultanți IDS conduc migrarea, susținând clientul pe parcursul analizei, reconstrucției pipeline-urilor și validării.
Proiectul este în prezent în desfășurare, cu validarea datelor ca flux de lucru activ. Nu au apărut obstacole neașteptate, iar angajamentul rămâne conform planificării.
„IDS nu a mutat doar codul nostru pe o nouă platformă — și-au făcut timp să înțeleagă mai întâi logica din spatele lui. Asta le-a oferit Controlling-ului și managementului încredere reală în cifrele care ies din Databricks, chiar și în timp ce migrarea este încă în desfășurare.”
— Head of Data & Controlling, client bancar