Engenheiro de Dados PLSR

Florianópolis - Brazil

Monthly Salary: Not Disclosed

Posted on: 6 hours ago

Vacancies: 1 Vacancy

Job Summary

Principais Responsabilidades:

Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks;
Identificar e implementar melhores práticas para cargas de grande volume de dados garantindo performance e disponibilidade das informações;
Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas;
Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes garantindo qualidade e governança;
Desenhar e implementar arquiteturas de Data Lakehouse aplicando o conceito Medalhão (Bronze Silver Gold);
Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema Snowflake);
Explorar boas práticas em ambientes de Big Data especialmente no contexto Databricks e Delta Lake;
Uso de formatos abertos como Delta Lake Iceberg Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas;
Garantir a governança de dados incluindo controle de acessos e versionamento.

Requirements

Buscamos alguém com:

Experiência sólida em Databricks e arquitetura Delta Lakehouse;
Forte conhecimento em SQL e otimização de queries para processamento distribuído;
Experiência com ETL/ELT e arquitetura de dados escalável;
Conhecimento de pipelines de dados incrementais (UPSERTS MERGE CDC);
Experiência em modelagem de dados analítica (Star-Schema Snowflake);
Experiência com cargas em Databricks incluindo refatoração de pipelines e tuning de performance;

Diferenciais:

Familiaridade com Unity Catalog para governança e controle de acesso em Databricks;
Conhecimento em Data Warehouses modernos (Databricks Snowflake BigQuery Redshift);
Vivência em arquiteturas na AWS com domínio de serviços como S3 IAM Glue e EMR;
Experiência em provisionar e configurar clusters Databricks do zero incluindo aspectos de infraestrutura rede permissões e integração com catálogos de dados.

Benefits

O que oferecemos:

Flexibilidade! Nosso time é remoto você pode trabalhar onde quiser;
Plano de saúde e odontológico Bradesco;
Conexa Saúde & Psicologia Viva;
Wellhub (antiga Gympass);
Parceria com a Open English;
Caju: Auxílio Home Office;
Day off de aniversário;
22 dias úteis/ano de recesso remunerado;
Modelo de contratação PJ (valor fixo mensal).

About the company

A Datarisk é uma empresa que desde 2017 transforma dados em inteligência para auxiliar a tomada de decisão de nossos clientes. Construindo soluções com base em Inteligência Artificial para diferentes setores formatos de negócio e cadeias de valor de forma rápida ágil e simples.

Principais Responsabilidades:Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks;Identificar e implementar melhores práticas para cargas de grande volume de dados garantindo performance e disponibilidade das informações;Trabalh...

Principais Responsabilidades:

Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks;
Identificar e implementar melhores práticas para cargas de grande volume de dados garantindo performance e disponibilidade das informações;
Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas;
Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes garantindo qualidade e governança;
Desenhar e implementar arquiteturas de Data Lakehouse aplicando o conceito Medalhão (Bronze Silver Gold);
Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema Snowflake);
Explorar boas práticas em ambientes de Big Data especialmente no contexto Databricks e Delta Lake;
Uso de formatos abertos como Delta Lake Iceberg Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas;
Garantir a governança de dados incluindo controle de acessos e versionamento.

Requirements

Buscamos alguém com:

Experiência sólida em Databricks e arquitetura Delta Lakehouse;
Forte conhecimento em SQL e otimização de queries para processamento distribuído;
Experiência com ETL/ELT e arquitetura de dados escalável;
Conhecimento de pipelines de dados incrementais (UPSERTS MERGE CDC);
Experiência em modelagem de dados analítica (Star-Schema Snowflake);
Experiência com cargas em Databricks incluindo refatoração de pipelines e tuning de performance;

Diferenciais:

Familiaridade com Unity Catalog para governança e controle de acesso em Databricks;
Conhecimento em Data Warehouses modernos (Databricks Snowflake BigQuery Redshift);
Vivência em arquiteturas na AWS com domínio de serviços como S3 IAM Glue e EMR;
Experiência em provisionar e configurar clusters Databricks do zero incluindo aspectos de infraestrutura rede permissões e integração com catálogos de dados.