Especialista de Engenharia de Dados II

O DataLab é a unidade de pesquisa e inovação do grupo Experian na América Latina junto com a Serasa Experian no Brasil. Temos o objetivo de ser propositivo antecipando o futuro e consultivo identificando oportunidades de evolução no mercado por meio de técnicas de Inteligência Artificial e Machine Learning combinada com uso de novas fontes de dados.

Criamos soluções inovadoras avançadas que ajudam clientes e mercado a se prepararem hoje para o amanhã de decisões mais assertivas. Além de termos um olhar 360º para trocar com o que há de melhor no âmbito global considerando o todo e produzindo soluções capazes de alcançar grande escalabilidade.

Estamos em busca de uma mente analítica e experiente para liderar a evolução da nossa infraestrutura de dados. Você será a peça-chave na construção de arquiteturas escaláveis garantindo que nossos dados não sejam apenas armazenados mas transformados em vantagem competitiva.

Principais Responsabilidades

• Arquitetura de Data Lake: Desenhar implementar e sustentar arquiteturas modernas de Data Lake e Lakehouse garantindo escalabilidade resiliência e custo-benefício.
• Pipeline de Dados (ETL/ELT): Construir e otimizar fluxos de ingestão de dados em tempo real (streaming) e em batch assegurando a integridade e a baixa latência das informações.
• Governança e Qualidade: Estabelecer padrões de Data Quality linhagem de dados e políticas de segurança/privacidade (LGPD) em todo o ecossistema.
• Mentoria Técnica: Atuar como referência para o time disseminando boas práticas de desenvolvimento (Clean Code CI/CD) e auxiliando na resolução de problemas complexos.
• Otimização de Performance: Identificar gargalos em processamentos de grandes volumes de dados e propor melhorias estruturais para ganho de performance em queries e jobs.

Requisitos e Qualificações

• Experiência Comprovada: Mínimo de 7 anos de experiência atuando diretamente em Engenharia de Dados com histórico em ambientes de alta complexidade e larga escala em ambientes de nuvem (preferencialmente na AWS).
• Domínio de Ferramentas: Experiência avançada com Apache Spark (PySpark/Scala) e orquestradores de fluxo (como Airflow Prefect ou Dagster).
• Linguagens de Programação: Fluência em Python ou Scala além de domínio de SQL para manipulação e análise de dados.
• Modelagem de Dados: Conhecimento em técnicas de modelagem dimensional.
• Infraestrutura como Código (IaC): Conhecimento em Terraform ou ferramentas similares para provisionamento de recursos de dados.
• Mindset Ágil: Familiaridade com metodologias ágeis e cultura DevOps aplicada a dados (DataOps).

Qualifications :

• Experiência robusta em Engenharia de Dados
• Apache Spark
• Python ou Scala

Informações adicionais :

Our uniqueness is that we celebrate yours. Experians culture and people are important differentiators. We take our people agenda very seriously and focus on what matters; DEI work/life balance development authenticity collaboration wellness reward & recognition volunteering... the list goes on. Experians people first approach is award-winning; Worlds Best Workplaces 2024 (Fortune Top 25) Great Place To Work in 24 countries and Glassdoor Best Places to Work 2024 to name a few. Check out Experian Life on social or our Careers Site to understand why.

Experian is proud to be an Equal Opportunity and Affirmative Action employer. Innovation is an important part of Experians DNA and practices and our diverse workforce drives our success. Everyone can succeed at Experian and bring their whole self to work irrespective of their gender ethnicity religion colour sexuality physical ability or age. If you have a disability or special need that requires accommodation please let us know at the earliest opportunity.

Experian Careers - Creating a better tomorrow together

Find out what its like to work for Experian by clicking here

Remote Work :

No

Employment Type :

Full-time