Azure Data Engineer Inglês

São Paulo - Brazil

Monthly Salary: Not Disclosed

Posted on: Yesterday

Vacancies: 1 Vacancy

Job Summary

A Capco é uma consultoria global de tecnologia e negócios focada no setor de serviços financeiros e energia somos apaixonados por ajudar nossos clientes temos 40 escritórios nas Américas Europa e Ásia-Pacífico! Se criatividade e inovação são sua paixão a Capco é ideal para você. Vamos te apoiar e ajudar a acelerar sua carreira!

Estamos buscando um(a) Engenheiro(a) de Dados Azure necessário(a) para construir pipelines de dados confiáveis e escaláveis que realizem ingestão transformação e carregamento de dados corporativos em um Banco de Dados de Grafos RDF. Este(a) profissional terá foco em integração de dados nativa do Azure (por exemplo Azure Data Factory) e streaming/mensageria (por exemplo Kafka) para suportar conjuntos de dados de alta qualidade prontos para grafos para um MVP e futura expansão corporativa.

Responsabilidades:

Projetar e construir pipelines batch e de streaming no Azure para ingerir dados de arquivos APIs bancos de dados e fluxos de eventos.
Desenvolver e operar pipelines no Azure Data Factory (ADF) incluindo agendamento parametrização tratamento de erros e monitoramento.
Implementar padrões de ingestão/processamento de streaming baseados em Kafka (tópicos consumidores/produtores evolução de schema) para suportar feeds quase em tempo real quando necessário.
Realizar transformações e modelagem de dados para produzir saídas compatíveis com RDF (por exemplo entradas para mapeamento de entidades/relacionamentos) garantindo consistência rastreabilidade (lineage) e reprodutibilidade.
Trabalhar em parceria com modeladores de ontologias/grafos para alinhar as saídas dos pipelines aos esquemas de grafos identificadores e abordagens de resolução de vínculos.
Estabelecer verificações de qualidade de dados (completude validade duplicidade) logs e runbooks operacionais.
Apoiar práticas de DevOps: CI/CD para artefatos de pipelines promoção entre ambientes e dashboards/alertas operacionais.
Contribuir para a documentação técnica: mapeamentos origem-destino especificações de pipelines e notas de implantação.

Requisitos:

Mais de 3 anos construindo pipelines de dados em produção no Azure com forte experiência prática em ADF.
Experiência com Kafka (ou tecnologia equivalente de streaming/mensageria) em implementações reais.
Forte conhecimento em SQL e pelo menos uma linguagem de programação (preferencialmente Python).
Sólido entendimento de ETL/ELT conceitos de modelagem de dados e suporte operacional de pipelines (monitoramento reprocessamentos SLAs).
Inglês avançado/fluente

Desejaveis:

Familiaridade com conceitos de RDF/Knowledge Graph (triplas IRIs formatos de serialização como Turtle/JSON-LD SPARQL).
Experiência com integração a bancos de dados de grafos (por exemplo Stardog GraphDB Neptune) ou camadas semânticas.
Experiência com serviços Azure comumente utilizados em pipelines (por exemplo ADLS Gen2 Key Vault Functions Fabric).

Certificações:

Microsoft Certified: Azure Data Engineer Associate (DP-203)
Microsoft Certified: Azure Fundamentals (AZ-900)
Microsoft Certified: Azure Developer Associate (AZ-204) (útil para Functions/integração)
Microsoft Certified: DevOps Engineer Expert (AZ-400) (CI/CD operações de plataforma)
Confluent Certified Developer for Apache Kafka (CCDAK) ou certificação equivalente em Kafka
Qualquer treinamento/certificação em Web Semântica / Knowledge Graph (treinamentos de fornecedores como Stardog ou outras plataformas de grafos são um diferencial)

POR QUE CAPCO:

NaCapcopromovemos uma cultura inclusiva. Valorizamos a diversidade em todas as suas expressões.
Pensamos em conjunto sempre em ações diversas de inclusão e de responsabilidade social através de comitês internos geridos pela nossa comunidade interna como os grupo de Mulheres Pessoas Com Deficiência Pessoas Negras LGBTQIAPN Parentalidade Gerações entre outros. Nossas oportunidades são trabalhadas para todos(as)!
#LifeAtCapco

PRÓXIMOS PASSOS:

Se você está ansioso(a) para progredir sua carreira conosco candidate-se e aguarde o contato de um de nossos recrutadores!

Required Experience:

A Capco é uma consultoria global de tecnologia e negócios focada no setor de serviços financeiros e energia somos apaixonados por ajudar nossos clientes temos 40 escritórios nas Américas Europa e Ásia-Pacífico! Se criatividade e inovação são sua paixão a Capco é ideal para você. Vamos te apoiar e aj...