Data Engineer
Share
Job Location:
Monthly Salary:
Posted on:
9 hours ago
Vacancies:
1 Vacancy
Job Summary
A Porto Digital atua como entidade de suporte à transformação digital urbana estando ao serviço da cidade do Porto e contribuindo para acelerar a implementação das estratégias de Inovação e Transição Digital.
Constituída para conectar cocriar e colaborar promove a eficiência dos serviços públicos com impacto real na qualidade de vida dos cidadãos orientando a sua atuação para um desenvolvimento sustentável e inclusivo.
Tasks
Principais atividades/tarefas a realizar:
- Escrever rotinas e instruções em linguagens de programação para criar aplicações informáticas;
- Estudar o estado de arte na área de engenharia de dados nomeadamente no que respeita a ferramentas de recolha tratamento e análise de dados;
- Desenhar e melhorar a arquitetura de sistemas de dados e quaisquer questões de qualidade e desempenho;
- Proceder à análise de dados provenientes de fontes de dados da cidade dos quais são exemplos os transportes públicos trânsito condições climatéricas e poluição (aérea ou sonora) turismo indicadores sociais etc.;
- Criar dashboards que permitam aferir conclusões e a partir das quais possam ser tomadas ações;
- Analisar e elaborar soluções ETL de forma a garantir que os dados pedidos pelos utilizadores são recolhidos e disponibilizados;
- Implementar e testar soluções ETL como pipelines de dados em lote/fluxos capazes de gerar automaticamente novos dados para utilizadores e aplicações;
- Testar e garantir validações de qualidade em diferentes fases do processamento e armazenamento de dados;
- Contactar diretamente os vários stakeholders de forma a garantir a qualidade dos outputs;
- Projetar e desenvolver modelos de dados que correspondam às necessidades específicas do caso de uso;
- Estabelecer a ligação entre Cientistas de Dados Analistas de Dados e Inteligência Artificial ao transcrever as necessidades em requisitos técnicos e tratamento de dados;
- Melhorar a Plataforma Urbana da cidade do Porto criando novas formas de aumentar o valor e a qualidade dos dados recolhidos e usados na tomada de decisões com impacto na qualidade de vida da comunidade.
Requirements
- Formação em Engenharia Informática Análise de Dados Ciência de Computadores Engenharia Eletrotécnica e de Computadores ou similares;
- Experiência mínima de 1 ano em funções similares;
- Conhecimentos de Python Tech Stack;
- Experiência em desenvolvimento testes e manutenção de serviços ETL;
- Experiência em ferramentas de orquestração (ex. Airflow);
- Experiência com Apache Atlas NiFi e Kafka;
- Conhecimentos de conceitos básicos de aplicação de dados em termos de Analytics BI e Data Science/ML;
- Experiência com os softwares Pandas Numpy;
- Experiência com os sistemas operativos UNIX/Linux.
O que também valorizamos
- Fluência em Inglês (leitura conversação e escrita);
- Elevada capacidade de comunicação verbal e escrita;
- Elevada capacidade de organização e gestão do tempo;
- Orientação para execução resultados e cumprimento de prazos;
- Orientação para a criação de valor para a cidade (Porto) a Câmara Municipal e para os cidadãos em geral;
- Boa capacidade de análise analítica;
- Elevada capacidade de trabalho em equipas multidisciplinares;
- Elevada autonomia e responsabilidade;
- Elevada motivação para enfrentar novos desafios e capacidade de aprendizagem contínua.
Benefits
- Subsídio de Alimentação
- Seguro de Saúde
- Regime de Horário Flexível
Key Skills
- Apache Hive
- S3
- Hadoop
- Redshift
- Spark
- AWS
- Apache Pig
- NoSQL
- Big Data
- Data Warehouse
- Kafka
- Scala
About Company
Associação privada sem fins-lucrativos responsável pelo desenvolvimento da estratégia de inovação e transição digital do Município Porto.
