Remote Agent Evaluation Engineer - Build-time Framework

Remote Agent Evaluation Engineer - Build-time Framework

Tempo inteiro 55688 - 68063 € / ano (est.) Remoto
E

Num relance

  • Tarefas: Desenvolver e manter um framework de avaliação para agentes de IA.
  • Empresa: EPAM Systems Inc, uma empresa inovadora em tecnologia.
  • Benefícios: Trabalho remoto, salário competitivo e oportunidades de desenvolvimento profissional.
  • Outras informações: Ambiente dinâmico com grandes oportunidades de crescimento na carreira.
  • Porquê este emprego: Contribua para a qualidade e fiabilidade de ambientes de produção com tecnologia de ponta.
  • Qualificações: Experiência em engenharia de avaliação e colaboração em equipas multidisciplinares.

O salário previsto situa-se entre 55688 - 68063 € por ano.

EPAM Systems Inc in Portugal is seeking an Agent Evaluation Engineer to design and maintain an evaluation framework for AI agents, blending deterministic tests with LLM-powered graders.

The role focuses on build-time frameworks, CI/CD gates, and deployment validations within a remote setup.

You will collaborate with SRE and ML teams to implement staging validations, shadow-mode traffic analysis, and A/B rollout strategies, driving reliability and quality across production environments.

Empregador para Remote Agent Evaluation Engineer - Build-time Framework: EPAM Systems Inc

A nossa empresa é um excelente empregador, oferecendo um ambiente de trabalho dinâmico e colaborativo em Lisboa, onde a inovação e a excelência são valorizadas. Com oportunidades de crescimento profissional e um forte foco na formação contínua, os colaboradores têm a chance de desenvolver soluções de ponta no espaço Omni Retail, contribuindo para experiências de cliente excepcionais. Além disso, o modelo de trabalho híbrido proporciona flexibilidade, permitindo que os funcionários equilibrem as suas vidas profissionais e pessoais de forma eficaz.

E

Dados de contacto:

Equipa de recrutamento de EPAM Systems Inc

Achamos que precisas destas competências para brilhares como Remote Agent Evaluation Engineer - Build-time Framework

Desenho de Frameworks de Avaliação
Testes Determinísticos
Graders Baseados em LLM
Frameworks de Build-time
CI/CD
Validações de Implementação
Colaboração com Equipas SRE