Especialista de Engenharia de Dados

Estamos reestruturando os motores de priorização dos dados de contato modernizando os processos existentes e migrando para uma nova arquitetura baseada em PySpark. O profissional atuará diretamente na evolução dos pipelines de dados suportando a transformação de processos legados para uma solução mais escalável e resiliente em nuvem.

Responsabilidades Principais

• Desenvolver e manter pipelines de dados escaláveis e eficientes em PySpark;
• Migrar e modernizar processos legados para novos modelos de processamento distribuído;
• Implementar soluções de processamento de dados em ambiente AWS;
• Colaborar com times de produto e analistas do Data Office para detalhar necessidades e regras de negócio;
• Otimizar arquiteturas de dados considerando performance governança e custo;
• Participar de iniciativas de automação observabilidade e melhoria contínua dos processos.

Qualifications :

• Requisitos Técnicos

• Experiência sólida com PySpark e frameworks de processamento distribuído;
• Conhecimento em Apache Airflow Spark e Hadoop (quando aplicável);
• Proficiência em linguagens de programação preferencialmente Python;
• Experiência com serviços AWS relevantes (ex.: EMR Lambda DynamoDB S3 Glue opcional);
• Conhecimento em bancos de dados SQL;
• Familiaridade com práticas de DevOps e pipelines de CI/CD.

• Habilidades Comportamentais

• Capacidade de lidar com problemas complexos e entender regras de negócio;
• Senso crítico e foco em eficiência;
• Gosto por otimização e melhoria contínua;
• Comunicação clara e colaboração efetiva com diferentes áreas;
• Mentalidade orientada a resultados;
• Aprendizado rápido e adaptabilidade a mudanças tecnológicas.

• Diferenciais

• Experiência com provisionamento de infraestrutura (IaC);
• Vivência com metodologias ágeis;
• Experiência prévia em migração de processos legados para arquiteturas distribuídas.

Additional Information :

Our uniqueness is that we celebrate yours. Experians culture and people are important differentiators. We take our people agenda very seriously and focus on what matters; DEI work/life balance development authenticity collaboration wellness reward & recognition volunteering... the list goes on. Experians people first approach is award-winning; Worlds Best Workplaces 2024 (Fortune Top 25) Great Place To Work in 24 countries and Glassdoor Best Places to Work 2024 to name a few. Check out Experian Life on social or our Careers Site to understand why.

Experian is proud to be an Equal Opportunity and Affirmative Action employer. Innovation is an important part of Experians DNA and practices and our diverse workforce drives our success. Everyone can succeed at Experian and bring their whole self to work irrespective of their gender ethnicity religion colour sexuality physical ability or age. If you have a disability or special need that requires accommodation please let us know at the earliest opportunity.

Experian Careers - Creating a better tomorrow together

Find out what its like to work for Experian by clicking here

Remote Work :

Yes

Employment Type :

Full-time