Traffic Analyst inom flerspråkig AI-kvalitetsutvärdering Stockholm

Om uppdraget

Vi söker en Traffic Analyst inom flerspråkig AI-kvalitetsutvärdering som kan utveckla testa och förbättra kvaliteten på AI-genererat och AI-översatt innehåll. Du skapar utvärderingsramverk dataset och scoring-metoder som säkerställer att innehåll är korrekt flytande och kulturellt relevant.

Rollen innebär nära samarbete med ML-ingenjörer och språkexperter för att kalibrera evaluatorer analysera modellfel och kontinuerligt förbättra kvalitet och pålitlighet i AI-drivna språklösningar.

Dina arbetsuppgifter

Utveckla utvärderingsrubriker och definiera scoringprotokoll för flerspråkigt innehåll.

Skapa och underhålla dataset för kvalitetsutvärdering av AI-genererat och AI-översatt material.

Stödja träning och kalibrering av utvärderingsmodeller samt validera poängsättning.

Dokumentera språk- och marknadsspecifika riktlinjer för kvalitet och bedömning.

Identifiera kvalitetsluckor analysera modellfel och föreslå förbättringar i utvärderingslogik.

Bidra till återkopplingsprocesser som driver löpande förbättring av språklig kvalitet i plattformar.

Förväntade leveranser

Etablerade och dokumenterade utvärderingsramverk per språk/marknad.

Kvalitetssäkrade dataset och tydliga scoring-rubriker för olika innehållstyper.

Analysrapporter av modellfel och rekommendationer för förbättringar.

Kalibreringsunderlag och stöd till ML-team i tränings- och finjusteringsarbete.

Förbättrade processer för kontinuerlig kvalitetsuppföljning.

Din profil

Erfarenhet av språkkvalitetsutvärdering tillämpad lingvistik datalingvistik eller språkrelaterad forskningsmiljö.

Vana av LLM-utvärdering maskinöversättningsbedömning eller annoteringsprocesser i flerspråkiga miljöer.

God förståelse för ramverk som MQM MetricX eller COMET samt erfarenhet av flerdimensionella bedömningsmodeller.

Bekant med GenAI-utvärderingsmetoder inklusive prompttestning modellkalibrering och poängvalidering.

Erfarenhet av samarbete med ML-team kring datapipelines annotering och/eller finjustering av evaluatorer.

Stark språklig och kulturell förståelse över flera marknader och förmåga att definiera kvalitet per innehållstyp.

Meriterande:

Programmatisk QA . regelbaserade kontroller eller API-driven validering med Python YAML eller gRPC.

Erfarenhet av interbedömarreliabilitet (Krippendorffs alfa Cohens κ) och/eller jämförelser mellan mänskliga och AI-genererade bedömningar.

Personliga egenskaper

Du är analytisk noggrann och gillar att arbeta strukturerat med kvalitet i detalj. Du trivs i gränslandet mellan språk och teknik är kommunikativ och van att samarbeta tvärfunktionellt. Du har även förmåga att prioritera dokumentera tydligt och driva förbättringar från insikt till praktik.

Plats: Stockholm
Omfattning: 100%
Period:
Sista ansökningsdag:

Sway Sourcing är en innovativ rekryteringspartner som specialiserar sig på att matcha rätt talang med rätt företag snabbt och effektivt. Vårt huvudfokus ligger inom Ekonomi Administration HR Marknad och IT men vi har även den breda expertis och flexibilitet som krävs för att leverera skräddarsydda rekryteringslösningar inom alla branscher.

Trots att vi är en relativt ny aktör har vi redan byggt förtroende hos många av Sveriges största företag och arbetar både nationellt och internationellt. Med baser i Sverige och Spanien erbjuder vi en unik kombination av lokal expertis och global räckvidd. Vårt starka nätverk och djupa branschinsikter gör oss till en självklar partner för företag som vill ligga steget före i sin rekrytering.