Engenheiro de Dados Especialista | BigQuery

Resumo da Posição

Buscamos um(a) Engenheiro(a) de Dados com experiência sólida em BigQuery Airflow e desenvolvimento de ETLs estruturados em arquitetura por camadas (raw staging e curated).
Este(a) profissional será responsável por construir automatizar e otimizar pipelines de dados de alta performance garantindo confiabilidade governança e disponibilidade das informações para uso analítico e tomadas de decisão.

Responsabilidades Principais

• Projetar desenvolver e manter pipelines de dados escaláveis e robustos utilizando BigQuery e Airflow.
• Estruturar e organizar dados em arquitetura por camadas (raw staging curated) seguindo boas práticas de engenharia e governança.
• Criar processos de ingestão transformação e modelagem (ETL/ELT) com foco em performance rastreabilidade e eficiência.
• Automatizar fluxos de dados agendamentos e monitoramento via Airflow garantindo disponibilidade e recuperação rápida de falhas.
• Realizar otimização de consultas SQL particionamento clustering e boas práticas de organização no BigQuery.
• Atuar no suporte ao ambiente acompanhando performance consumo custos e integrações entre sistemas.
• Documentar processos arquiteturas e padrões operacionais garantindo clareza e fácil manutenção.
• Realizar repasse de conhecimento para equipes técnicas e de negócio promovendo autonomia e melhor uso dos dados.
• Colaborar com times de Analytics Produto BI e Engenharia para alinhar necessidades e entregar soluções eficientes.

Requisitos Técnicos Obrigatórios

• Experiência comprovada com BigQuery (desenvolvimento tuning particionamento clusterização).

• Forte domínio em Airflow para orquestração automação e monitoramento de pipelines.

• Experiência com ETL/ELT em arquitetura por camadas:

  • Raw (bronze)
  • Staging (silver)
  • Curated (gold)

• SQL avançado (queries complexas otimização funções CTEs).

• Experiência com Python para scripts operadores e integrações no Airflow.

• Práticas de versionamento (Git) e documentação técnica.

Diferenciais

• Experiência prévia com GCP além de BigQuery (Cloud Storage Dataflow Pub/Sub Composer).
• Conhecimento em modelagens para análise (dimensional data vault star schema).
• Experiência com ferramentas de observabilidade e monitoramento.
• Vivência com custos e controle de billing em BigQuery.
• Boas práticas de CI/CD para pipelines de dados.

Competências Comportamentais

• Proatividade e autonomia para investigar e resolver problemas complexos.
• Organização e clareza na documentação e comunicação técnica.
• Capacidade de colaboração com múltiplas áreas (TI Dados Negócio).
• Responsabilidade em ambiente produtivo e criticidade no processamento de dados.
• Mentalidade de melhoria contínua e atenção a detalhes.