Clone Engenheiro de dados SR
Job Summary
Engenheiro de dados
Responsabilidades e atribuições
Implementar e otimizar arquiteturas de dados em ambientes de nuvem (GCP e Azure);
Garantir a qualidade segurança e governança dos dados seguindo melhores práticas e políticas de compliance;
Trabalhar em conjunto com times de Engenharia e Analytics para entender necessidades de dados e propor soluções escaláveis;
Monitorar e otimizar desempenho de sistemas de dados identificando gargalos e oportunidades de melhoria;
Automatizar processos de coleta transformação e disponibilização de dados visando eficiência e escalabilidade;
Gerenciar o data lakes e o data warehouses;
Implementar soluções de observabilidade para garantir a confiabilidade da plataforma de dados.
Requisitos e qualificações
Experiência sólida com desenvolvimento de pipelines de dados (ETL/ELT) utilizando ferramentas como Apache Airflow Databricks ou similares;
Conhecimento em linguagens de programação como Python;
Experiência com bancos de dados relacionais e não relacionais (SQL NoSQL);
Conhecimento de data lakes e data warehouses (BigQuery etc.);
Experiência com ferramentas de versionamento de código (Git) e CI/CD;
Noções de governança de dados segurança e boas práticas de modelagem de dados;
Capacidade de trabalhar em ambientes ágeis e colaborativos.
Diferenciais
Experiência com arquitetura orientada a eventos (Kafka);
Familiaridade com ferramentas de observabilidade;
Experiência com plataformas de processamento distribuído (Spark);
Engenheiro de dados
Responsabilidades e atribuições
Implementar e otimizar arquiteturas de dados em ambientes de nuvem (GCP e Azure);
Garantir a qualidade segurança e governança dos dados seguindo melhores práticas e políticas de compliance;
Trabalhar em conjunto com times de Engenharia e Analytics para entender necessidades de dados e propor soluções escaláveis;
Monitorar e otimizar desempenho de sistemas de dados identificando gargalos e oportunidades de melhoria;
Automatizar processos de coleta transformação e disponibilização de dados visando eficiência e escalabilidade;
Gerenciar o data lakes e o data warehouses;
Implementar soluções de observabilidade para garantir a confiabilidade da plataforma de dados.
Requisitos e qualificações
Experiência sólida com desenvolvimento de pipelines de dados (ETL/ELT) utilizando ferramentas como Apache Airflow Databricks ou similares;
Conhecimento em linguagens de programação como Python;
Experiência com bancos de dados relacionais e não relacionais (SQL NoSQL);
Conhecimento de data lakes e data warehouses (BigQuery etc.);
Experiência com ferramentas de versionamento de código (Git) e CI/CD;
Noções de governança de dados segurança e boas práticas de modelagem de dados;
Capacidade de trabalhar em ambientes ágeis e colaborativos.
Diferenciais
Experiência com arquitetura orientada a eventos (Kafka);
Familiaridade com ferramentas de observabilidade;
Experiência com plataformas de processamento distribuído (Spark);