Senior Databricks Data Engineer
Share
Job Location:
Monthly Salary:
Posted on:
6 hours ago
Vacancies:
1 Vacancy
Job Summary
Ai fini dellampliamento del nostro centro di competenza dedicato alla Data Engineering e allAdvanced Analytics siamo alla ricerca di un/una Senior Databricks Data Engineer che operi come pilastro tecnico per la costruzione di architetture dati moderne. La risorsa garantirà la qualità dei processi di ingestione e trasformazione promuovendo le best practice di sviluppo su ambienti Cloud (Azure/AWS/GCP) allinterno dei team di progetto.
Sarai responsabile di progettare sviluppare e implementare pipeline di dati scalabili e performanti coordinando lottimizzazione dei carichi di lavoro in collaborazione con i Data Scientist e i Data Architect.
In scenari complessi guiderai il design dellarchitettura Medallion (Bronze Silver Gold) e la gestione dei Delta Lake risolvendo colli di bottiglia tecnici e garantendo la consegna di soluzioni robuste per il processamento di grandi volumi di dati (Batch e Streaming).
In un contesto orientato allinnovazione tecnologica con unimpostazione Business Oriented ti occuperai di:
Sviluppo Pipeline ETL/ELT: Progettazione e implementazione di flussi di dati complessi utilizzando Apache Spark (PySpark Spark SQL Scala);
Gestione del Data Lakehouse: Ottimizzazione delle tabelle Delta Lake e implementazione di logiche di partizionamento e indexing per massimizzare le performance di lettura/scrittura;
Data Governance & Security: Configurazione della sicurezza e del controllo accessi ai dati tramite Unity Catalog garantendo la conformità alle policy aziendali;
Collaborazione Agile: Cooperazione con i Data Scientist per lintegrazione di modelli di Machine Learning (MLflow) e con i Power BI Developer per lesposizione di set di dati ottimizzati (Gold Layer);
Automazione e Monitoraggio: Implementazione di workflow tramite Databricks Jobs integrazione con strumenti di CI/CD e monitoraggio della qualità del dato (Data Quality checks).
Qualifications :
Competenze richieste:
- Apache Spark
- Ecosistema Hadoop
- Programmazione Scala e Python
- Almeno 2 anni di esperienza su servizi e tecnologie del cloud Microsoft Azure con competenze nella progettazione e gestione di architetture dati cloudnative.
- Esperto nei processi di data ingestion sia batch che streaming orientato alle performance e alla qualità del dato.
Informazioni aggiuntive :
LA NOSTRA PROPOSTA:
Ti offriamo lopportunità di lavorare in un ambiente dinamico su progetti nazionali ed internazionali che ti permetta di approfondire continuamente le tue conoscenze e di sviluppare le tue competenze.
Se vuoi dare una spinta alla tua carriera ed entrare a far parte di una società di servizi IT leader in Europa ed in continua crescita inviaci il tuo curriculum!
La sede di lavoro è ROMA con possibilità compatibilmente con lattività svolta di aderire allaccordo di smart working secondo quanto previsto dalla nostra policy aziendale. E comunque richiesta la disponibilità a compiere trasferte sul territorio nazionale e internazionale.
Scopri Sopra Steria! Visita il nostro sito e rimani aggiornato attraverso il blog e le pagine social presente annuncio è rivolto ad entrambi i sessi ai sensi delle leggi 903/77 e 125/91 e a persone di tutte le età e tutte le nazionalità ai sensi dei decreti legislativi 215/03 e 216/03.
Tutte le regole relative ai tuoi dati raccolti in questo modo sono dettagliate nellInformativa sulla Protezione dei Dati dei Candidati ( conformità con la legislazione / i regolamenti vigenti in materia di tecnologia dellinformazione documenti e libertà civili hai diritti di accesso rettifica cancellazione portabilità limitazione opposizione e definizione di istruzioni riguardanti la sorte dei tuoi Dati personali dopo la tua morte. Questi diritti saranno esercitati inviando une-mail al responsabile della protezione dei dati (DPO) allindirizzo o per posta a questo indirizzo: Sopra Steria Group S.p.A. - Ufficio legale - Strada 4 Palazzo A7 - 20090 Assago (MI).
Hai anche il diritto di presentare un reclamo Garante per la Protezione dei Dati Personali (Piazza di Monte Citorio n.Roma) se il titolare del trattamento non rispetta gli obblighi previsti dalla legislazione in vigore.
Remote Work :
No
Employment Type :
Full-time
Key Skills
- Apache Hive
- S3
- Hadoop
- Redshift
- Spark
- AWS
- Apache Pig
- NoSQL
- Big Data
- Data Warehouse
- Kafka
- Scala
About Company
Sopra Steria, a major Tech player in Europe with 52,000* employees in nearly 30 countries, is recognised for its consulting, digital services and solutions. It helps its clients drive their digital transformation and obtain tangible and sustainable benefits. The Group provides end-to- ... View more
