Data Engineer II
Data Engineer II
Employer Active
Job Alert
You will be updated with latest job alerts via email
Share
Job Alert
You will be updated with latest job alerts via email
Job Description
propos de lquipe :
Notre mission en tant quorganisation dAnalytique des Donnes et dIngnierie est de permettre HashiCorp dexploiter les donnes comme un atout stratgique en fournissant des solutions de donnes fiables volutives et efficaces. Notre objectif ultime est de permettre nos parties prenantes de prendre des dcisions claires bases sur les donnes et datteindre des objectifs commerciaux critiques. Nous recherchons un ingnieur de niveau intermdiaire pour rejoindre notre quipe !
Dans ce rle vous pouvez vous attendre :
- Superviser et gouverner lexpansion de larchitecture des donnes existantes et optimiser les performances des requtes de donnes selon les meilleures pratiques.
- Dvelopper et maintenir des pipelines de donnes volutifs et mettre en place de nouvelles intgrations dAPI pour soutenir laugmentation continue du volume et de la complexit des donnes.
- Collaborer avec les quipes danalyse et daffaires pour amliorer les modles de donnes qui alimentent les outils dintelligence daffaires augmentant ainsi laccessibilit des donnes et favorisant la prise de dcisions bases sur les donnes au sein de lorganisation.
- Mettre en uvre des processus et des systmes pour surveiller la qualit des donnes en garantissant que les donnes de production sont toujours fiables et disponibles pour les principales parties prenantes et les processus commerciaux qui en dpendent.
- crire des tests unitaires/dintgration contribuer lencyclopdie dingnierie et documenter son travail.
- Effectuer des analyses de donnes ncessaires pour rsoudre les problmes lis aux donnes et aider la rsolution de ces derniers.
- Concevoir des intgrations de donnes et un cadre de qualit des donnes.
- Concevoir et valuer des outils opensource et des outils de fournisseurs pour la traabilit des donnes.
- Travailler en troite collaboration avec toutes les units commerciales et les quipes dingnierie pour dvelopper une stratgie pour larchitecture long terme de la plateforme de donnes.
- Dvelopper les meilleures pratiques pour la structure des donnes afin dassurer la cohrence au sein du systme.
Vous tes un bon candidat pour notre quipe si vous avez :
- Baccalaurat ou matrise en gnie informatique informatique ou domaine connexe.
- Exprience dans le dveloppement et le dploiement de pipelines de donnes de prfrence dans le Cloud.
- Minimum de 2 ans dexprience avec Snowflake Snowflake SQL Snow Pipe Streams Stored Procedure Task Hashing Row Level Security Time Travel etc.
- Exprience pratique avec Snowpark et le dveloppement dapplications avec Snowpark et Streamlit.
- Matrise des pipelines ETL ou ELT et des diffrents aspects terminologies avec SQL pur comme SCD Dimensions Delta Processing etc.
- Exprience avec les services Cloud AWS S3 Lambda Glue Athena IAM CloudWatch.
- Exprience pratique dans le dveloppement et la maintenance dAPI (API Restful) avec des technologies Cloud (comme AWS API Gateway AWS Lambda etc..
- Exprience dans la cration de pipelines pour lintgration en temps rel et quasi temps rel en travaillant avec diffrentes sources de donnes fichiers plats XML JSON fichiers Avro et bases de donnes.
- Matrise de Python/Go pour crire des fonctions maintenables rutilisables et complexes pour le traitement des donnes en backend.
- Le dveloppement frontend avec Python est un atout mais pas ncessaire.
- Solides comptences en communication crite et orale avec la capacit de synthtiser simplifier et expliquer des problmes complexes diffrents publics.
About the team:
Our mission as a Data Analytics & Engineering organization is to enable HashiCorp to leverage data as a strategic asset by providing reliable scalable and efficient data solutions. Our ultimate goal is to enable our stakeholders to make informed data driven decisions and achieve critical business objectives. We are seeking a midlevel engineer to join our team!
In this role you can expect to:
- Oversee and govern the expansion of existing data architecture and the optimization of data query performance via best practices.
- Develop and maintain scalable data pipelines and builds out new API integrations to support continuing increases in data volume and complexity.
- Collaborates with analytics and business teams to improve data models that feed business intelligence tools increasing data accessibility and fostering datadriven decision making across the organization.
- Implements processes and systems to monitor data quality ensuring production data is always reliable and available for key stakeholders and business processes that depend on it.
- Writes unit/integration tests contributes to engineering wiki and documents work.
- Performs data analysis required to troubleshoot data related issues and assist in the resolution of data issues.
- Designs data integrations and data quality framework.
- Designs and evaluates open source and vendor tools for data lineage.
- Works closely with all business units and engineering teams to develop strategy for long term data platform architecture.
- Develop best practices for data structure to ensure consistency within the system
You may be a good fit for our team if you have:
- Bachelors or Masters in computer engineering computer science or related area.
- Experience in developing and deploying data pipelines preferably in the Cloud..
- Minimum 2 years of experience with snowflake snowflake SQL Snow pipe streams Stored procedure Task Hashing Row Level Security Time Travel etc.
- Hands on experience with Snowpark and App development with Snowpark and Stream lit.
- Proficient in ETL or ELT Data Pipelines and various aspects terminologies with Pure SQL like SCD Dimensions Delta Processing etc.
- Working with AWS cloud services S3 Lambda Glue Athena IAM CloudWatch.
- Handson experience in API (Restful API) development and maintenance with Cloud technologies( Like AWS API Gateway AWS lambda etc).
- Experience in creating pipelines for real time and near real time integration working with different data sources flat files XML JSON Avro files and databases.
- Fluent in Python/Go language to be able to write maintainable reusable and complex functions for backend data processing.
- Front development with python is good to have but not necessary.
- Robust written and oral communication skills with the ability to synthesize simplify and explain complex problems to different audiences.
#LIRemote
Individual pay within the range will be determined based on job relatedfactors such as skills experience and education or training.
HashiCorp is an IBM subsidiary which has been acquired by IBM and will be integrated into the IBM organization. HashiCorp will be the hiring entity. By proceeding with this application you understand that HashiCorp will share your personal information with other IBM subsidiaries involved in your recruitment process wherever these are located. More information on how IBM protects your personal information including the safeguards in case of crossborder data transfer are available here: link to IBM privacy statement.
Employment Type
Full Time
