Engenheiro de Dados Pleno

Estamos buscando um Engenheiro de Dados para atuar com grandes volumes de dados em um ambiente altamente escalável utilizando principalmente Apache Spark/Python em Databricks. Esse profissional será responsável por desenvolver otimizar e dar manutenção em pipelines de ingestão de dados com foco em arquiteturas modernas e eficientes.

Entre as principais atividades destacam-se:

• Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental schema evolution otimização de throughput).
• Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.
• Implementação de boas práticas de engenharia de dados como particionamento otimização com Delta Lake.
• Conhecimento de git controle de versionamento pull requests.
• Análise melhoria e otimização de custos e performance em Databricks.
• Implementar Data Quality.
• Criar documentação clara das demandas.
• Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança.

Qualifications :

• Formação em Ciência da Computação Sistemas de Informação engenharia.
• Conhecimento de AWS e Databricks

Additional Information :

A Serasa Experian é muito mais do que você o propósito de criar um futuro melhor ampliando oportunidades para pessoas e empresas no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais prezando pelo bem-estar.

A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work em 24 países e pela certificação internacional Top Employers além de sermos reconhecidos como uma das melhores empresas para jovens profissionais e contarmos com uma avaliação de 46 no Glassdoor. Cada reconhecimento nos indica que estamos no caminho certo proporcionando um ambiente de trabalho cada vez melhor para nossos talentos.

Experian Careers - Creating a better tomorrow together

Find out what its like to work for Experian by clicking here

Remote Work :

No

Employment Type :

Full-time