ESPECIALISTA DE ENGENHARIA DE DADOS I Híbrido
ESPECIALISTA DE ENGENHARIA DE DADOS I Híbrido
Employer Active
Job Alert
You will be updated with latest job alerts via email
Share
Job Alert
You will be updated with latest job alerts via email
Job Description
Na Inmetrics a inovação e a excelência operam lado a lado em um ambiente de trabalho colaborativo saudável e dinâmico. Nossa cultura valoriza o aprendizado constante a transparência na comunicação e a flexibilidade criando um espaço onde cada profissional pode se desenvolver e alcançar o seu máximo potencial.
Nosso time é apaixonado por tecnologia e comprometido com entregas de valor real para os nossos clientes. Nosso diferencial é a eficiência digital.
Pessoas são o nosso maior ativo por isso investimos em oportunidades que vão além de um salário competitivo proporcionamos benefícios diferenciados em relação ao mercado e um ambiente de trabalho saudável e reconhecido por nossos colaboradores.
#Vemparainmetrics
Responsibilities
O Tech lead de engenheira de dados irá trabalhar junto ao time de engenharia de Dados do time de Cartões na criação de Pipelines de Dados para ingestão e disponibilização de dados do domínio de cartões no data Lake Corporativo do Santander Brasil. A pessoa trabalhará com um time ágil em projeto estratégico da área e deve possuir conhecimento em Databricks e PySparkResponsável por dominar e multiplicar institucionalmente os conceitos ferramentas e tecnologias relacionadas à Análise de Dados estruturando e atualizando tecnicamente as Diretrizes e Políticas da área de Análise de Dados vigentes atuando na definição dos princípios a serem observados no controle administração e definição de métodos e modelos de dados diversos atuando na definição das tecnologias técnicas e padrões a serem seguidos na área de Análise Dados da empresa apoiando na idealização estruturação e otimização de bancos de dados bem como realizando demais atividades correlatas e inerentes ao cargo.
Prerequisites
Conhecimentos Obrigatórios Habilidade em Databricks: Experiência em trabalhar com Apache Spark em Databricks incluindo a criação e otimização de pipelines de dados. Experiência em Pyspark e Python e Kedro: Fortes habilidades de programação em Pyspark e Python e Kedro para desenvolver depurar e manter códigos de transformação de dados. Processamento Batch e Streaming de Dados: Conhecimento em processamento de dados em lotes e em streaming (mensageria) com a capacidade de projetar implementar e manter pipelines de processamento de dados. Conhecimento em DevOps: Familiaridade com o uso do Jenkins para integração e entrega contínua (CI/CD) além de automação de tarefas de implantação e gerenciamento de pipelines. Git: Proficiência em Git para controle de versão de código-fonte e colaboração eficaz em equipes de desenvolvimento. Métodos Ágeis: Compreensão dos princípios e práticas de métodos ágeis como Kanban e Scrum para colaboração eficaz e gerenciamento de projetos. Orquestração (por exemplo Control-M ou outros): Conhecimento em ferramentas de orquestração de processos o que é importante para o agendamento e controle de fluxos de trabalho. Conhecimento em Microsoft Azure: Experiência com os principais serviços da Microsoft Azure para Dados incluindo o Azure Databricks Azure Data Factory e Azure StorageAccounts . Conhecimentos Desejáveis Conhecimento em Azure: Experiência nos principais serviços como Aurora PostgreSQL CloudWatch Lambda S3 Vivência em Ambientes On-Premises (Cloudera): Desejável Experiência anterior com a plataforma Cloudera ou outras soluções on-premises para big data incluindo Hadoop HBase e Hive. Conhecimento em desenvolvimento orientado a objeto: Familiaridade com linguagem JAVA é de bastante ajuda (não é necessário codar sim interpretar). Certificações opcionais: Certificações AZ-900 (Microsoft Azure Fundamentals) e DP-900 (Microsoft Azure Data Fundamentals) são preferenciais e demonstram um conhecimento sólido da plataforma Azure e em dados.
Experiences
Azure-Prática PySpark-Prática AWS-Prática
Required Experience:
Unclear Seniority
Employment Type
Full Time
