Sobre a vaga
Estamos em busca de um(a) Lead Engineer para atuar no time de Analytics Engineering com foco em engenharia de dados pós-ingestão. Essa posição será responsável por liderar tecnicamente a construção manutenção e evolução das pipelines de dados que suportam o time de Data Quality garantindo escalabilidade confiabilidade e performance dos processos.
Responsabilidades
- Liderar tecnicamente o desenvolvimento de soluções de engenharia de dados atuando como referência para o time.
- Projetar e implementar pipelines de dados robustas e escaláveis em ambientes distribuídos.
- Garantir boas práticas de arquitetura segurança versionamento e monitoramento de dados.
- Colaborar com times multidisciplinares (Data Quality Data Governance Engenharia de Software).
- Atuar na evolução da plataforma de dados propondo melhorias contínuas e inovações.
- Mentorar engenheiros de dados mais juniores e contribuir para o crescimento técnico do time.
Requisitos Técnicos (Hard Skills)
- Experiência avançada com Spark (preferencialmente PySpark) para processamento distribuído.
- Domínio de AWS incluindo serviços como S3 Glue EMR Lambda IAM entre outros.
- Conhecimento sólido em EKS (Kubernetes na AWS) para orquestração de workloads.
- Proficiência em Python com foco em engenharia de dados.
- Familiaridade com ambientes Linux shell scripting e automação.
- Experiência com ferramentas de versionamento (Git) CI/CD e observabilidade (monitoramento/logs).
Perfil desejado (Soft Skills)
- Capacidade de liderança técnica e influência positiva no time.
- Comunicação clara e eficaz com stakeholders técnicos e não técnicos.
- Proatividade senso de dono e foco em entrega de valor.
- Visão sistêmica e orientação para boas práticas de engenharia.
Diferenciais
- Experiência com ferramentas de Data Quality ou Data Observability.
- Conhecimento em arquitetura orientada a eventos (Kafka etc.).
- Certificações AWS ou Spark.
Qualifications :
- Spark
- Python
- Linux
- AWS
- Leadership
Additional Information :
Our uniqueness is that we celebrate yours. Experians culture and people are important differentiators. We take our people agenda very seriously and focus on what matters; DEI work/life balance development authenticity collaboration wellness reward & recognition volunteering... the list goes on. Experians people first approach is award-winning; Worlds Best Workplaces 2024 (Fortune Top 25) Great Place To Work in 24 countries and Glassdoor Best Places to Work 2024 to name a few. Check out Experian Life on social or our Careers Site to understand why.
Experian is proud to be an Equal Opportunity and Affirmative Action employer. Innovation is an important part of Experians DNA and practices and our diverse workforce drives our success. Everyone can succeed at Experian and bring their whole self to work irrespective of their gender ethnicity religion colour sexuality physical ability or age. If you have a disability or special need that requires accommodation please let us know at the earliest opportunity.
Experian Careers - Creating a better tomorrow together
Find out what its like to work for Experian by clicking here
Remote Work :
Yes
Employment Type :
Full-time
Sobre a vagaEstamos em busca de um(a) Lead Engineer para atuar no time de Analytics Engineering com foco em engenharia de dados pós-ingestão. Essa posição será responsável por liderar tecnicamente a construção manutenção e evolução das pipelines de dados que suportam o time de Data Quality garantind...
Sobre a vaga
Estamos em busca de um(a) Lead Engineer para atuar no time de Analytics Engineering com foco em engenharia de dados pós-ingestão. Essa posição será responsável por liderar tecnicamente a construção manutenção e evolução das pipelines de dados que suportam o time de Data Quality garantindo escalabilidade confiabilidade e performance dos processos.
Responsabilidades
- Liderar tecnicamente o desenvolvimento de soluções de engenharia de dados atuando como referência para o time.
- Projetar e implementar pipelines de dados robustas e escaláveis em ambientes distribuídos.
- Garantir boas práticas de arquitetura segurança versionamento e monitoramento de dados.
- Colaborar com times multidisciplinares (Data Quality Data Governance Engenharia de Software).
- Atuar na evolução da plataforma de dados propondo melhorias contínuas e inovações.
- Mentorar engenheiros de dados mais juniores e contribuir para o crescimento técnico do time.
Requisitos Técnicos (Hard Skills)
- Experiência avançada com Spark (preferencialmente PySpark) para processamento distribuído.
- Domínio de AWS incluindo serviços como S3 Glue EMR Lambda IAM entre outros.
- Conhecimento sólido em EKS (Kubernetes na AWS) para orquestração de workloads.
- Proficiência em Python com foco em engenharia de dados.
- Familiaridade com ambientes Linux shell scripting e automação.
- Experiência com ferramentas de versionamento (Git) CI/CD e observabilidade (monitoramento/logs).
Perfil desejado (Soft Skills)
- Capacidade de liderança técnica e influência positiva no time.
- Comunicação clara e eficaz com stakeholders técnicos e não técnicos.
- Proatividade senso de dono e foco em entrega de valor.
- Visão sistêmica e orientação para boas práticas de engenharia.
Diferenciais
- Experiência com ferramentas de Data Quality ou Data Observability.
- Conhecimento em arquitetura orientada a eventos (Kafka etc.).
- Certificações AWS ou Spark.
Qualifications :
- Spark
- Python
- Linux
- AWS
- Leadership
Additional Information :
Our uniqueness is that we celebrate yours. Experians culture and people are important differentiators. We take our people agenda very seriously and focus on what matters; DEI work/life balance development authenticity collaboration wellness reward & recognition volunteering... the list goes on. Experians people first approach is award-winning; Worlds Best Workplaces 2024 (Fortune Top 25) Great Place To Work in 24 countries and Glassdoor Best Places to Work 2024 to name a few. Check out Experian Life on social or our Careers Site to understand why.
Experian is proud to be an Equal Opportunity and Affirmative Action employer. Innovation is an important part of Experians DNA and practices and our diverse workforce drives our success. Everyone can succeed at Experian and bring their whole self to work irrespective of their gender ethnicity religion colour sexuality physical ability or age. If you have a disability or special need that requires accommodation please let us know at the earliest opportunity.
Experian Careers - Creating a better tomorrow together
Find out what its like to work for Experian by clicking here
Remote Work :
Yes
Employment Type :
Full-time
View more
View less