Provocarea: Un proces de încărcare legacy care ținea în loc Data Warehouse-ul
Data Warehouse-ul clientului rula pe hardware tradițional on-premise, cu un proces de încărcare care devenise un blocaj structural. Fiecare tabel trebuia încărcat mai întâi într-o bază de date de staging separată, înainte de a fi mutat în Data Warehouse-ul propriu-zis — un pas suplimentar care adăuga timp, complexitate și risc fiecărui proiect de integrare a datelor.
Costul real apărea de fiecare dată când business-ul avea nevoie de ceva nou. Onboardingul unui singur tabel nou dintr-un sistem sursă dura între două și patru zile, cu un dezvoltator ocupat integral pe toată durata. Într-un mediu telecom în care sistemele sursă, campaniile și integrările se schimbă constant, această întârziere însemna că noile nevoi de raportare și analitică așteptau permanent la coadă, în spatele muncii manuale de ETL.
Descoperirea: Un partener integrat pe termen lung
IDS Consulting a fost adusă nu pentru o singură intervenție, ci ca extensie continuă a echipei de Data Warehouse a clientului. Mandatul: modernizarea modului în care datele circulau prin platformă și menținerea evoluției acesteia în siguranță, pe măsură ce business-ul — și infrastructura de bază — continuau să se schimbe în jurul ei.
Soluția: O platformă de date condusă de metadate, pregătită pentru cloud
IDS a reproiectat procesul de încărcare a tabelelor de la zero, înlocuind vechea abordare în doi pași, cu bază de date de staging, cu un motor condus de metadate — și a adăugat peste acesta capabilitățile de care are nevoie o platformă de date telecom modernă.
- Onboarding de tabele condus de metadate. Tabelele noi sunt acum configurate în maximum 20 de minute, fără a fi nevoie de o a doua bază de date de staging.
- Încărcare Delta. Platforma a fost actualizată pentru a încărca doar diferențele de la o zi la alta, în loc de seturi complete de date, reducând timpii de încărcare și sarcina asupra infrastructurii.
- Ingestie prin streaming și API. IDS a adăugat capacitatea de a ingera date direct din servicii REST/web și fluxuri Kafka, alături de un motor dedicat care expune datele din Data Warehouse înapoi către consumatori prin API-uri REST.
- Managementul automatizat al ciclului de viață al datelor. Regulile de retenție, setate la nivel de tabel și de arie de business, mută acum automat datele prin ciclul lor de viață — din baza de date, pe bandă, până la ștergere — eliberând spațiu de stocare fără intervenție manuală.
- Evoluție etapizată a infrastructurii. IDS a condus proof-of-concept-ul și migrarea către Oracle Exadata, iar apoi migrarea completă a Data Warehouse-ului în cloud, pe Google BigQuery, continuând în același timp să susțină ETL-ul zilnic și dezvoltarea curentă (business-as-usual).
Bătălia: Modernizarea unei ținte mobile
Nimic din toate acestea nu s-a întâmplat pe o platformă stabilă, nemișcată. Fiecare schimbare de infrastructură petrecută în altă parte a companiei — sisteme noi, upgrade-uri, integrări — trebuia susținută în paralel de Data Warehouse, pentru a menține fluxul de date fără întreruperi.
Această mișcare constantă a impus o inginerie cu adevărat personalizată. IDS a construit un mecanism de rollback personalizat și robust pentru cozile Kafka, pentru a proteja împotriva eșecurilor de procesare a mesajelor. Pentru a preveni desincronizarea sistemelor critice față de sursa lor, echipa a implementat încărcarea tabelelor point-in-time. Și pentru a menține costurile de stocare sub control pentru tabelele cu volume mari de text, IDS a construit un sistem de compresie personalizat — evitând o licență de compresie proprietară, costisitoare, pe care Oracle o oferea ca alternativă.
Rezultatele: Un Data Warehouse mai rapid, mai suplu, pregătit pentru viitor
- Onboardingul tabelelor, redus de la zile la minute. Ce obișnuia să dureze între două și patru zile, cu un dezvoltator ocupat pe toată durata, durează acum maximum 20 de minute — o reducere de peste 99%.
- Procesarea zilnică se finalizează cu ore mai devreme. După migrarea către Oracle Exadata, batch-ul zilnic — care obișnuia să se finalizeze abia la 23:00 — se termină acum înainte de ora 9:00, oferind business-ului acces în aceeași zi la date proaspete.
- Trei generații de infrastructură, o singură platformă continuă. Data Warehouse-ul a evoluat de la Oracle on-premise, la Oracle Exadata, până la Google BigQuery în cloud — fiecare tranziție condusă de IDS fără a întrerupe procesele de raportare și ETL de care depindea business-ul.
- Pregătit pentru timp real și streaming. Ingestia prin Kafka și API REST a deschis calea către surse de date pe care platforma originală nu a fost niciodată construită să le gestioneze.
- Costuri de stocare și licențiere, ținute sub control. Managementul automatizat al ciclului de viață al datelor și un motor de compresie construit personalizat au controlat creșterea stocării, fără a plăti pentru module proprietare suplimentare.
- 8 ani de parteneriat continuu. O echipă mică — niciodată mai mult de trei consultanți IDS, de cele mai multe ori doar doi — a susținut și modernizat platforma pe parcursul fiecărei schimbări arhitecturale, de la PL/SQL și Informatica până la BigQuery și Airflow.