Tech Lead em Engenharia de Dados
Tech Lead em Engenharia de Dados
Employer Active
Job Alert
You will be updated with latest job alerts via email
Share
Job Alert
You will be updated with latest job alerts via email
Job Description
Job Description:
Habilidades
Atuar como membro de Squad multidisciplinar com foco em engenharia de dados colaborando com as reas de cincia de dados;
Participar de reunies tcnicas com clientes para compreender desafios de negcios e identificar oportunidades no campo da Engenharia de Dados;
Contribuir na criao e execuo de arquiteturas em nuvem que atendam aos requisitos de negcio do cliente;
Garantir entregas de qualidade;
Monitorar e garantir o funcionamento do processo de ETL por meio de mtricas;
Criar e implementar mtodos e tcnicas para melhorar eficincia qualidade e confiabilidade dos dados;
Trabalhar com resilincia e esprito de equipe fomentando um ambiente colaborativo e saudvel para o Squad e cliente.
Responsabilidades
Projetar construir e manter pipelines de dados eficientes e escalveis utilizando servios AWS como AWS Glue Amazon EMR e AWS Data Pipeline;
Implementar e gerenciar solues de armazenamento de dados em grande escala com Amazon S3 Amazon Redshift e AWS Lake Formation;
Desenvolver processos de transformao e limpeza de dados utilizando AWS Glue e Amazon Athena para garantir a qualidade e integridade dos dados;
Assegurar conformidade e segurana de dados implementando controles de acesso e polticas de criptografia com AWS IAM e AWS KMS;
Desenvolver solues de dados em tempo real utilizando Amazon Kinesis e AWS Lambda para aplicaes crticas e de alta disponibilidade;
Monitorar e otimizar a performance dos processos de ingesto processamento e consulta de dados visando eficincia e reduo de custos;
Colaborar com cientistas de dados analistas e outros stakeholders para entender requisitos e fornecer solues que atendam s necessidades do negcio;
Liderar e orientar equipes de engenharia de dados.
Perfil Desejado
Ensino Superior Completo em Cincia da Computao Estatstica Engenharias Economia Matemtica ou reas correlatas;
Certificaes desejveis: AWS Certified Data Engineer e/ou AWS Certified Data Analytics Specialty;
Experincia com processos ETL (Extract Transform and Load);
Conhecimento avanado em Python e biblioteca Pandas (Series e DataFrames);
Experincia em modelagem de Banco de Dados SQL;
Proficincia na linguagem SQL para consulta e manipulao de dados;
Experincia com Airflow e outros orquestradores;
Experincia na manipulao de grandes conjuntos de dados com ferramentas de Big Data como Spark PySpark e Trino;
Experincia em ambientes datadriven;
Conhecimento das melhores prticas para construo de Data Lakes Lake House e Data Warehouses em ambientes cloud;
Experincia com servios AWS.
Employment Type
Full Time
