Prezentare generală
Căutăm un Databricks Engineer care să se alăture uneia dintre echipele noastre de Data Engineering & Analytics. Vei proiecta, dezvolta și optimiza soluții de procesare a datelor folosind platforma Databricks, contribuind la construirea unor arhitecturi moderne de tip Lakehouse. Vei colabora îndeaproape cu Data Engineers, Data Scientists, BI Developers, Data Architects și stakeholderii din business pentru a livra soluții scalabile și performante pentru procesarea și analiza datelor.
Cerințe
Dezvoltarea soluțiilor Databricks
- Proiectezi, dezvolți și întreții soluții de procesare a datelor utilizând Databricks.
- Construiești pipeline-uri de date pentru procesarea batch și streaming.
- Dezvolți notebook-uri și workflow-uri reutilizabile.
- Colaborezi la implementarea arhitecturilor moderne de tip Lakehouse.
- Documentezi soluțiile tehnice și fluxurile de procesare dezvoltate.
- Contribui la definirea standardelor și bunelor practici de dezvoltare pe platforma Databricks.
Data Engineering & procesarea datelor
- Dezvolți și optimizezi procese ETL/ELT utilizând Apache Spark și PySpark.
- Integrezi date din surse multiple în platformele Lakehouse.
- Implementezi procese de transformare și validare a datelor.
- Optimizezi performanța pipeline-urilor și a proceselor de procesare.
- Colaborezi cu Data Engineers și Data Architects pentru proiectarea soluțiilor.
- Asiguri calitatea, consistența și trasabilitatea datelor.
Optimizare & performanță
- Optimizezi performanța clusterelor Databricks și a proceselor Spark.
- Administrezi și optimizezi Delta Lake și structurile de stocare.
- Implementezi strategii de partitionare, caching și optimizare a interogărilor.
- Monitorizezi performanța și identifici oportunități de optimizare.
- Contribui la reducerea costurilor și eficientizarea utilizării resurselor cloud.
- Aplici bune practici privind dezvoltarea și administrarea platformelor Databricks.
Integrare & cloud
- Integrezi platforma Databricks cu servicii cloud și alte platforme de date.
- Colaborezi cu echipele DevOps și DataOps pentru automatizarea implementărilor.
- Utilizezi Git și procese CI/CD pentru gestionarea codului și a implementărilor.
- Participi la administrarea mediilor de dezvoltare, testare și producție.
- Asiguri respectarea standardelor de securitate și conformitate.
- Documentezi configurațiile și procesele tehnice.
Colaborare & îmbunătățire continuă
- Colaborezi cu Data Engineers, Data Scientists, BI Developers și Data Architects pentru dezvoltarea soluțiilor de date.
- Participi la proiectarea arhitecturilor moderne de date.
- Contribui la definirea standardelor și bunelor practici pentru platformele Databricks.
- Identifici oportunități de optimizare și automatizare.
- Participi la inițiative de modernizare a platformelor de date.
- Rămâi la curent cu noile funcționalități și tendințe din ecosistemul Databricks și Apache Spark
Candidatul ideal
Cerințe obligatorii
- Studii superioare în Informatică, Cibernetică, Matematică, Ingineria Sistemelor sau un domeniu similar.
- Minimum 3 ani experiență în Data Engineering sau dezvoltarea soluțiilor Databricks.
- Experiență practică cu Databricks.
- Cunoștințe solide de Apache Spark și PySpark.
- Experiență în dezvoltarea proceselor ETL/ELT.
- Cunoștințe solide de SQL și Python.
- Înțelegerea conceptelor Lakehouse și Delta Lake.
- Experiență cu Git și procese CI/CD.
- Abilități excelente de analiză și rezolvare a problemelor.
Constituie un avantaj
- Experiență cu Microsoft Azure, AWS sau Google Cloud.
- Cunoștințe privind Unity Catalog și Data Governance în Databricks.
- Experiență cu Delta Live Tables și Databricks Workflows.
- Familiaritate cu streaming utilizând Apache Kafka sau Spark Structured Streaming.
- Experiență cu Docker și Kubernetes.
- Experiență în domeniile Banking, Retail, Insurance sau Telco.
- Certificări Databricks Certified Data Engineer Associate sau Professional.
Cum lucrezi
- Îți place să construiești platforme moderne pentru procesarea datelor.
- Ai o abordare analitică și orientată către performanță.
- Ai atenție la detalii și urmărești calitatea soluțiilor livrate.
- Colaborezi eficient cu echipe multidisciplinare.
- Îți asumi responsabilitatea pentru performanța și stabilitatea soluțiilor dezvoltate.
- Ești preocupat de învățarea continuă și de adoptarea celor mai noi tehnologii din ecosistemul Databricks.
Ești interesat și potrivit pentru acest job?
Aplică acum pentru poziția de Inginer Databricks