Data Engineer Datalake Azure (Híbrido)
Share
Job Location:
Monthly Salary:
Posted on:
30+ days ago
Vacancies:
1 Vacancy
Job Summary
DATA ENGINEER / DATALAKE AZURE(HÍBRIDO LISBOA)
Empresa portuguesacontrata para trabalho híbrido
Localização:Lisboa Portugal
É necessário que os candidatos para a vaga já estejam em Portugal
Requisitos de Idioma:Português fluente
Tempo deexperiência:2 anos deexperiência
Disponibilidade:Imediata ou até 30 dias
Setor: Tecnológico / Big Data
Instruções:Envieseu currículo e certifique-se de incluir todas as habilidades e experiênciasque atendam aos requisitos da oportunidade. Isso aumentará significativamentesuas chances de sucesso.
Resumo da Função
Procuramos um Data Engineer para integrar a nossa equipa deengenharia de dados. O profissional será responsável pelo desenho desenvolvimento e manutenção depipelines de dados robustos e escaláveis assegurando a qualidade integridade e segurança dosdados em ambientes Cloude Big Data.
PrincipaisResponsabilidades
Configurar e gerir processos de ingestão de dados em Datalake Azure.
Executar e monitorizar pedidos de novas ligações e acessos a repositórios dedados.
Identificar riscos e propor soluções de melhoria contínua.
Desenvolver pipelines de dados eficientes e escaláveisem ambientes Big Data.
Implementar e otimizar processos ETL.
Trabalhar com Databricks Azure e OpenShiftpara ingestão e processamento de dados.
Programar em Python Scala e SQL paramanipulação e transformação de dados.
Desenvolver pipelines e algoritmos comframeworks como Apache Spark.
Colaborar com equipas multidisciplinarespara responder a necessidades do negócio.
Requisitos
Mínimo2 anos de experiência em Engenharia de Dados com foco emsoluções Big Data/Cloud.
Conhecimentos sólidos em Databricks Azure SQL Scala Spark ePython.
Experiência com Swagger.
Experiência prática em ETL e gestão de grandesvolumes de dados.
Familiaridade com metodologias ágeis epráticas de DevOps.
Boa capacidade de resolução de problemas organização eatenção ao detalhe.
Valorizado
Conhecimentos em Data Governance e Data Quality.
Experiência em frameworks de ingestão de dados.
Experiência em setores regulados (ex.: banca seguros telecomunicações).
Conhecimento de tecnologias emergentes no ecossistema BigData.
Perfil proativocolaborativo e orientado a resultados.
#SI
Key Skills
- Apache Hive
- S3
- Hadoop
- Redshift
- Spark
- AWS
- Apache Pig
- NoSQL
- Big Data
- Data Warehouse
- Kafka
- Scala
