Senior LLM Inference Engineer
Job Location:
Monthly Salary:
Posted:
Application Deadline:
Vacancies:
Job Summary
Vi har nu ett nytt behov och söker därför en konsult och kollega med nedan kvalifikationer. Tjänsten är en del av vår konsultverksamhet vilket innebär att du blir anställd av oss och arbetar hos kund alt. interna projekt och åtaganden.
Din profil (Skall krav)
Du har praktisk erfarenhet av att driftsätta och optimera språkmodeller i produktion.
Du har god förståelse för sambandet mellan modellstorlek kontextlängd GPU-minne samtidighet svarstid och kostnad.
Du har erfarenhet av Python Linux och containerbaserad drift.
Du har arbetat med inferensramverk som vLLM TensorRT-LLM eller motsvarande.
Du har erfarenhet av prestandamätning lasttestning och kapacitetsplanering för AI-lösningar.
Du kan utvärdera och implementera optimeringar som caching batchning och kvantisering.
Du kan omsätta tekniska resultat till tydliga rekommendationer och affärsmässiga beslutsunderlag.
Meriterande
Det är meriterande om du har erfarenhet av AI-agenter och agentbaserade arbetsflöden.
Ett plus är erfarenhet av distribuerad inferens och skalning över flera GPU eller noder.
Erfarenhet av att jämföra molndrift egen drift och hybridlösningar ur både tekniskt och ekonomiskt perspektiv är meriterande.
Sista ansökningdatum:
About Company
Vi är en konsultbyrå som består av drivna och branschkunniga personer i blandade åldrar med mångårig samlad erfarenhet och strävar efter att bli en komplett IT-konsultleverantör. Vi erbjuder kompetenser inom bl. a. Systemutveckling, Infrastruktur, Projektledning, Test, IT-säkerhet, Au ... View more
