Für ein KI-Plattform Projekt suchen wir erfahrene QAUnterstützung durch Freelancer mit einem klaren Fokus auf Automatisierung. Ziel ist die Plattform und den Chatbot vor dem Launch automatisiert reproduzierbar und belastbar abzusichern.
Die Plattform bündelt KI-gestützte Chatbot- und Agenten-Use-Cases auf Basis von RAG ausgewählten Wissensquellen Guardrails APIs und Frontend-Integrationen. Der Fokus liegt auf strukturierter Q Testautomatisierung und der automatisierten Bewertung von RAG-Antwortqualität (Evals). Für die Evaluationen soll eine pragmatische Grundlage aufgebaut werden idealerweise mit Azure AI Foundry.
Das manuelle Testen im Tagesgeschäft übernimmt das interne QA Team. Diese Freelance-Rolle konzentriert sich auf die Schwerpunkte Testautomatisierung und automatisierte RAG-/LLM-Evaluation.
Deine Verantwortungen:
Testautomatisierung
Automatisierte Tests für regressionkritische Frontend- API- und Integrationsflows aufbauen und pfelgen
Testautomatisierung in bestehende GitLab-CI/CD-Prozesse integrieren und als QualityGate vor Deployments nutzbar machen
Automatisierte Testfälle für Chatbot API und Frontend definieren
RAG-/LLM-Evaluation
Automatisierte LLM-/RAG-Evaluationen aufsetzen inklusive Eval-DatensätzenQualitätsmetriken Schwellenwerten und reproduzierbaren Eval-Runs
RAG-Antworten anhand definierter Qualitätskriterien prüfen z. B. fachliche Korrektheit Verständlichkeit Prägnanz Zielgruppenorientierung und Quellenbezug
Übergreifend
QA-Automasierungs- und Eval-Prozess für Plattform und Chatbot strukturieren
Testdaten Eval-Sets Testprotokolle und QA-Statusübersichten pflegen
Go-/No-Go-Einschätzung für den Launch vorbereiten
Wir suchen Dich:
Mehrjährige Erfahrung als QA (Automation) Engineer für Web- Plattform- oder digitale Produktumfelder
Praktische Erfahrung im Aufbau und in der Pflege automatisierter Tests z. B. mit Playwright WebdriverIO oder vergleichbaren Frameworks
Sicher im Umgang mit Testkonzepten Testfällen Bug-Reports und Regressionstests
Erfahrung mit CI/CD-Pipelines idealerweise GitLab und der Integration automatisierter Tests in Deployment-Prozesse
Technisches Verständnis für APIs Web-Frontends CMS-basierte Systeme und integrierte Plattformarchitekturen
Erfahrung in agilen Teams und enger Abstimmung mit Entwicklung und Produktmanagement
Strukturierte analytische und eigenständige Arbeitsweise
Sehr gute Deutschkenntnisse mindestens C1
Nice to Have:
Erfahrung mit KI- Chatbot- RAG- oder Multi-Agenten-Systemen
Erfahrung mit LLM-/RAG-Evaluationen idealerweise mit Azure AI Foundry / Azure AIEvaluation SDK Langfuse RAGAS DeepEval Promptfoo LangSmith Arize Phoenixoder vergleichbaren Eval-/Observability-Frameworks
Verständnis von Qualitätsmetriken wie Groundedness Relevance CoherenceFluency und Completeness
Erfahrung mit Eval-Datensätzen Ground Truth Golden Sets oder synthetischenTestfällen
Erfahrung mit API-Tests Performance-Tests oder Penetrationstests
Erfahrung mit Content-Management-Systemen idealerweise Strap
Wie sieht der Rekrutierungsprozess bei Ekkiden aus
Bei Ekkiden sind wir bestrebt jedem Kandidaten eine positive Erfahrung zu bieten.
Erstgespräch: Unser Rekrutierungsteam wird sich mit Ihnen in Verbindung setzen um Ihre Motivation und Erwartungen zu besprechen.
Interviews: Je nach der Rolle für die Sie sich bewerben führen Sie ein oder zwei Interviews mit unseren Geschäftsleitern.
Kundengespräch: Schließlich haben Sie die Möglichkeit den Kunden kennenzulernen.
Obwohl dies unser Standardprozess ist können wir Anpassungen vornehmen die auf spezifischen Umständen basieren.
Required Experience:
IC
Rolle: QA Automation Engineer (m/w/d)Für ein KI-Plattform Projekt suchen wir erfahrene QAUnterstützung durch Freelancer mit einem klaren Fokus auf Automatisierung. Ziel ist die Plattform und den Chatbot vor dem Launch automatisiert reproduzierbar und belastbar abzusichern.Die Plattform bündelt KI-ge...
Rolle: QA Automation Engineer (m/w/d)
Für ein KI-Plattform Projekt suchen wir erfahrene QAUnterstützung durch Freelancer mit einem klaren Fokus auf Automatisierung. Ziel ist die Plattform und den Chatbot vor dem Launch automatisiert reproduzierbar und belastbar abzusichern.
Die Plattform bündelt KI-gestützte Chatbot- und Agenten-Use-Cases auf Basis von RAG ausgewählten Wissensquellen Guardrails APIs und Frontend-Integrationen. Der Fokus liegt auf strukturierter Q Testautomatisierung und der automatisierten Bewertung von RAG-Antwortqualität (Evals). Für die Evaluationen soll eine pragmatische Grundlage aufgebaut werden idealerweise mit Azure AI Foundry.
Das manuelle Testen im Tagesgeschäft übernimmt das interne QA Team. Diese Freelance-Rolle konzentriert sich auf die Schwerpunkte Testautomatisierung und automatisierte RAG-/LLM-Evaluation.
Deine Verantwortungen:
Testautomatisierung
Automatisierte Tests für regressionkritische Frontend- API- und Integrationsflows aufbauen und pfelgen
Testautomatisierung in bestehende GitLab-CI/CD-Prozesse integrieren und als QualityGate vor Deployments nutzbar machen
Automatisierte Testfälle für Chatbot API und Frontend definieren
RAG-/LLM-Evaluation
Automatisierte LLM-/RAG-Evaluationen aufsetzen inklusive Eval-DatensätzenQualitätsmetriken Schwellenwerten und reproduzierbaren Eval-Runs
RAG-Antworten anhand definierter Qualitätskriterien prüfen z. B. fachliche Korrektheit Verständlichkeit Prägnanz Zielgruppenorientierung und Quellenbezug
Übergreifend
QA-Automasierungs- und Eval-Prozess für Plattform und Chatbot strukturieren
Testdaten Eval-Sets Testprotokolle und QA-Statusübersichten pflegen
Go-/No-Go-Einschätzung für den Launch vorbereiten
Wir suchen Dich:
Mehrjährige Erfahrung als QA (Automation) Engineer für Web- Plattform- oder digitale Produktumfelder
Praktische Erfahrung im Aufbau und in der Pflege automatisierter Tests z. B. mit Playwright WebdriverIO oder vergleichbaren Frameworks
Sicher im Umgang mit Testkonzepten Testfällen Bug-Reports und Regressionstests
Erfahrung mit CI/CD-Pipelines idealerweise GitLab und der Integration automatisierter Tests in Deployment-Prozesse
Technisches Verständnis für APIs Web-Frontends CMS-basierte Systeme und integrierte Plattformarchitekturen
Erfahrung in agilen Teams und enger Abstimmung mit Entwicklung und Produktmanagement
Strukturierte analytische und eigenständige Arbeitsweise
Sehr gute Deutschkenntnisse mindestens C1
Nice to Have:
Erfahrung mit KI- Chatbot- RAG- oder Multi-Agenten-Systemen
Erfahrung mit LLM-/RAG-Evaluationen idealerweise mit Azure AI Foundry / Azure AIEvaluation SDK Langfuse RAGAS DeepEval Promptfoo LangSmith Arize Phoenixoder vergleichbaren Eval-/Observability-Frameworks
Verständnis von Qualitätsmetriken wie Groundedness Relevance CoherenceFluency und Completeness
Erfahrung mit Eval-Datensätzen Ground Truth Golden Sets oder synthetischenTestfällen
Erfahrung mit API-Tests Performance-Tests oder Penetrationstests
Erfahrung mit Content-Management-Systemen idealerweise Strap
Wie sieht der Rekrutierungsprozess bei Ekkiden aus
Bei Ekkiden sind wir bestrebt jedem Kandidaten eine positive Erfahrung zu bieten.
Erstgespräch: Unser Rekrutierungsteam wird sich mit Ihnen in Verbindung setzen um Ihre Motivation und Erwartungen zu besprechen.
Interviews: Je nach der Rolle für die Sie sich bewerben führen Sie ein oder zwei Interviews mit unseren Geschäftsleitern.
Kundengespräch: Schließlich haben Sie die Möglichkeit den Kunden kennenzulernen.
Obwohl dies unser Standardprozess ist können wir Anpassungen vornehmen die auf spezifischen Umständen basieren.
Job Location:
Monthly Salary:
Posted on:
Vacancies:
