IA QA Engineer
Share
Job Location:
Monthly Salary:
Experience Required:
Posted on:
30+ days ago
Vacancies:
1 Vacancy
Job Summary
This is a remote position.
En Layer7 se está construyendo tecnología de hiperescala e inteligencia artificial confiable con el propósito de impulsar sistemas que impactan a millones de usuarios y a las operaciones críticas de grandes empresas.
El equipo formado por más de 100 profesionales entre ingenieros científicos y expertos en QA trabaja en desafíos de alta complejidad técnica desde sistemas distribuidos y resilientes hasta modelos de lenguaje avanzados listos para producción.
La cultura de Layer7 combina alto rendimiento innovación y curiosidad técnica fomentando el crecimiento personal y profesional dentro de un entorno colaborativo y equilibrado.
Únete a nuestro equipo!
Queremos que formes parte de nuestro talentoso equipo de profesionales!
Aprovecha esta oportunidad para desarrollar tus habilidades y crecer profesionalmente en un ambiente dinámico y colaborativo.
Como AI QA Engineer tu misión será diseñar ejecutar y documentar pruebas de calidad y seguridad para modelos de lenguaje a gran escala. Trabajarás en conjunto con equipos de ingeniería producto y ciencia de datos asegurando que cada modelo cumpla con estándares rigurosos de precisión coherencia y cumplimiento.
Aprovecha esta oportunidad para desarrollar tus habilidades y crecer profesionalmente en un ambiente dinámico y colaborativo.
Como AI QA Engineer tu misión será diseñar ejecutar y documentar pruebas de calidad y seguridad para modelos de lenguaje a gran escala. Trabajarás en conjunto con equipos de ingeniería producto y ciencia de datos asegurando que cada modelo cumpla con estándares rigurosos de precisión coherencia y cumplimiento.
Tus principales responsabilidades incluirán:
Diseñar y ejecutar planes de prueba para evaluar razonamiento factualidad consistencia y robustez de prompts.
Diseñar y ejecutar planes de prueba para evaluar razonamiento factualidad consistencia y robustez de prompts.
Identificar y documentar alucinaciones errores lógicos bias y fallas de grounding o jailbreak.
Evaluar la fidelidad de la recuperación (RAG) el uso correcto de herramientas y la estabilidad en tareas complejas.
Definir y mantener rúbricas de evaluación criterios de aprobación y reportes reproducibles de errores.
Colaborar en estrategias de red-teaming y pruebas adversariales para mejorar la seguridad de los modelos.
Automatizar flujos de validación y métricas (precisión recall faithfulness toxicidad latencia) usando Python/SQL.
Proponer mejoras a prompts sistemas de guardrails y procesos de evaluación continua.
Evaluar la fidelidad de la recuperación (RAG) el uso correcto de herramientas y la estabilidad en tareas complejas.
Definir y mantener rúbricas de evaluación criterios de aprobación y reportes reproducibles de errores.
Colaborar en estrategias de red-teaming y pruebas adversariales para mejorar la seguridad de los modelos.
Automatizar flujos de validación y métricas (precisión recall faithfulness toxicidad latencia) usando Python/SQL.
Proponer mejoras a prompts sistemas de guardrails y procesos de evaluación continua.
Oportunidades de Desarrollo:
Trabajar con tecnologías de vanguardia en evaluación de LLMs (OpenAI Evals W&B RAG evaluators).
Desarrollar frameworks de QA para sistemas generativos de nivel empresarial.
Participar en pruebas multilingües y de cumplimiento normativo (compliance & safety).
Colaborar con equipos internacionales y contribuir directamente a la confiabilidad de modelos desplegados globalmente.
Ambiente de Trabajo
Formarás parte de un equipo especializado en evaluación de IA generativa y aseguramiento de calidad con alta autonomía técnica y enfoque ético. Promovemos un entorno donde la comunicación clara el pensamiento crítico y la curiosidad técnica son fundamentales.
Requirements
Este rol es ideal para profesionales con experiencia en QA de sistemas de IA evaluación de modelos de lenguaje o pruebas de robustez y seguridad en ML.
Licenciatura maestría o doctorado en Ciencia de Datos Computación Lingüística Computacional o campo afín.
Experiencia práctica en QA para sistemas de ML/IA o evaluación de modelos generativos.
Conocimiento de técnicas de red-teaming bias/fairness testing grounding verification y adversarial evaluation.
Dominio de Python y frameworks de automatización (PyTest SQL).
Experiencia con herramientas de evaluación de LLMs (OpenAI Evals LangChain W&B MLflow).
Capacidad para diseñar métricas y reportes de evaluación reproducibles.
Comunicación analítica y detallada con habilidad para explicar razonamientos y hallazgos.
Licenciatura maestría o doctorado en Ciencia de Datos Computación Lingüística Computacional o campo afín.
Experiencia práctica en QA para sistemas de ML/IA o evaluación de modelos generativos.
Conocimiento de técnicas de red-teaming bias/fairness testing grounding verification y adversarial evaluation.
Dominio de Python y frameworks de automatización (PyTest SQL).
Experiencia con herramientas de evaluación de LLMs (OpenAI Evals LangChain W&B MLflow).
Capacidad para diseñar métricas y reportes de evaluación reproducibles.
Comunicación analítica y detallada con habilidad para explicar razonamientos y hallazgos.
Benefits
Sueldo competitivo
Prestaciones de ley y superiores
Ambiente de trabajo colaborativo y de aprendizaje
Required Skills:
LLMS ML/IA OpenAI Evals W&B RAG evaluators). PyTest SQL). LangChain ML Flow Data Sience
Required Education:
Licenciatura en IA Data Sience
Company Industry
IT Services and IT Consulting
Key Skills
- Corporate Communications
- Apache Commons
- Community Support
- Jira
- Java
