Data Engineer och Systemutvecklare

Rollen:
Färdigställa och vidareutveckla det metadatadrivna ETL-pipeline-ramverket för forskningsplattformen

Säkerställa korrekt hantering och anonymisering av känslig klinisk data i enlighet med gällande regelverk

Förvalta och vidareutveckla Data Lake-arkitekturen baserad på Apache Iceberg Spark och Trino

Bygga och förvalta integrationer mot kliniska källsystem och databaser

Säkerställa kodkvalitet och robusta lösningar genom testdriven utveckling kodgranskning och automatisering

Arbeta nära övriga utvecklare produktägare och arkitekter för att skapa skalbara och hållbara lösningar på OpenShift


Ska-krav:

• Kompetensnivå 3 (4-8 år).

• Akademisk examen inom datavetenskap systemutveckling eller motsvarande dokumenterad erfarenhet.

• Minst 5 års erfarenhet av systemutveckling med Python som huvudspråk med fokus på datapipelines backend-tjänster och systemintegration.

• Minst 3 års erfarenhet av ETL/ELT-utveckling mot SQL-databaser (. MySQL MSSQL) samt object storage (. AWS S3 Ceph).

• Minst 3 års erfarenhet av event-driven arkitektur och async message handling med Kafka RabbitMQ eller motsvarande.

• Minst 3 års erfarenhet av arbete med containerplattformar (Kubernetes/OpenShift) och CI/CD-lösningar (. Jenkins Bamboo eller GitLab CI).

• Minst 2 års erfarenhet av distributed data processing med Apache Spark inklusive integration mot Data Lake platforms.

• Dokumenterad erfarenhet av Apache Iceberg eller Delta Lake som open table format i en produktionsmiljö.

• Dokumenterad erfarenhet av metadatadriven ETL-design och pipeline-ramverk i produktionsmiljö.

• Dokumenterad erfarenhet av PII-anonymisering kryptering eller hashing av känslig klinisk data i enlighet med regulatoriska krav i produktionsmiljö.

• Dokumenterad erfarenhet av Trino eller motsvarande distributed SQL query engine mot Data Lake i produktionsmiljö.

Meriterande:
erfarenhet av att utveckla datapipelines eller data processing services som hanterar stora datamängder mot Data Lake-tekniker (. Apache Spark Apache Iceberg eller Delta Lake) i en offentligfinansierad vård- eller forskningsverksamhet. Med sådan verksamhet avses uppdrag utförda för en myndighet eller i huvudsak offentligfinansierad verksamhet underställd staten en region eller en kommun och där uppdraget avsett hantering av klinisk data eller kliniska forskningsdata.

haft självständigt ansvar för att designa och implementera Data Lake-arkitektur med open table formats (. Apache Iceberg eller Delta Lake) inklusive storskalig databehandling och hantering av känslig klinisk data i offentligfinansierad vårdeller forskningsverksamhet. Med sådan verksamhet avses uppdrag utförda för en myndighet eller i huvudsak offentligfinansierad verksamhet underställd staten en region eller en kommun och där uppdraget avsett hantering av klinisk data eller kliniska forskningsdata

erfarenhet av att implementera konfigurera och använda monitoring logging och alerting för övervakning av produktionsmiljö exempelvis med verktyg som Datadog CloudWatch eller motsvarande haft självständigt ansvar för att designa och implementera ett test- och quality assurance-ramverk för datapipelines i produktionsmiljö. Detta innefattar etablering av automatiserad testning teststrategier datavalidering och kodkvalitetstester för databearbetande system. Relevant erfarenhet omfattar design och implementering av testramverk med verktyg som pytest Robot Framework dbt testing eller motsvarande där konsulten självständigt har drivit teststrategin för ETL/ELT-pipelines eller data processing services.

erfarenhet av att implementera säkerhetslösningar för system som hanterar känslig data exempelvis secrets management PII-anonymisering audit logging eller åtkomstkontroller i produktionsmiljö.

haft självständigt ansvar för att designa och implementera säkerhetslösningar för system som hanterar känslig data exempelvis secrets management PII-anonymisering audit logging eller åtkomstkontroller med tydlig koppling till regulatoriska krav och spårbarhet i produktionsmiljö

Var god förklara hur du uppfyller alla kraven.

Omfattning: 100%
Ort: Stockholm
Period:med option på förlängning
Sista ansökningdag:

Vi presenterar löpande. Om du är intresserad av ett uppdrag rekommenderar vi att du skickar in din ansökan så snart som möjligt.