Senior Ml / Evaluation Engineer

Estamos à procura de um Engenheiro Sênior de ML / Avaliação para se juntar à nossa equipe em Portugal, em modo de trabalho totalmente remoto. Neste papel, você será responsável pelo design e implementação de estruturas de avaliação avançadas para uma Plataforma de Desenvolvimento de Agentes Empresariais - um ecossistema nativo da nuvem, de grau de produção, que permite a implantação escalável e segura de agentes de IA.

Você criará estratégias de avaliação que combinam a classificação LLM-as-judge com verificações determinísticas, definirá padrões de avaliação empresarial e implementará portões de implantação CI/CD para garantir métricas de qualidade antes do lançamento. Esta posição requer forte expertise em testes de sistemas de ML, design de avaliação e integração em pipelines automatizados para ambientes agentes.

Responsabilidades

• Projetar e implementar estruturas de avaliação em múltiplas camadas para fluxos de trabalho agentes e aplicações impulsionadas por IA.
• Construir avaliadores LLM-as-judge aproveitando os módulos integrados do AWS Agent Core e lógica personalizada para verificações de correção e utilidade.
• Desenvolver avaliadores determinísticos como funções Lambda do AWS para validação baseada em regras.
• Definir padrões de avaliação empresarial, incluindo dimensões obrigatórias, critérios de pontuação e limites de aprovação/reprovação.
• Implementar portões de implantação CI/CD usando modos de avaliação sob demanda para garantir qualidade em pipelines automatizados.
• Habilitar avaliação online em produção integrando estratégias de avaliação baseadas em amostragem e barreiras de detecção de PII.
• Incorporar sinais de observabilidade (spans do Open Telemetry) do AWS Agent Core nas estruturas de avaliação para avaliação em nível de rastreamento.
• Gerar métricas, logs e painéis a partir dos resultados de avaliação via Cloud Watch ou plataformas de monitoramento equivalentes.
• Colaborar com equipes de plataforma, orquestração e Dev Ops para manter a confiabilidade e escalabilidade da avaliação.

Requisitos

• Mais de 5 anos de experiência em engenharia de ML, estruturas de avaliação de IA ou desenvolvimento de plataformas de IA.
• Experiência prática no design de estruturas de avaliação LLM (avaliadores LLM-as-judge e avaliadores determinísticos).
• Experiência prática na implementação de portões de implantação CI/CD para garantia de qualidade de modelos de ML ou agentes de IA.
• Proficiência em Python para construir lógica de avaliação (avaliadores determinísticos baseados em Lambda).
• Forte compreensão de dimensões de validação avançadas, incluindo integridade de contexto de múltiplas interações e pontuação em nível de fluxo de trabalho.

Desejável

• Familiaridade com a API de Avaliações do AWS Agent Core (Criar Avaliação, Obter Resultado da Avaliação).
• Exposição às Barreiras do AWS Bedrock para conformidade e validação de dados sensíveis.
• Experiência na integração de métricas de avaliação no AWS Cloud Watch para monitoramento e alertas.
• Conhecimento de instrumentação OTel e ingestão de rastreamento para entradas de pontuação de qualidade.

Oferecemos

• Compensação competitiva dependendo da experiência e habilidades.
• Variedade de projetos dentro de uma única empresa.
• Fazer parte de um projeto seguindo padrões de excelência em engenharia.
• Caminho de carreira individual e oportunidades de crescimento profissional.
• Eventos internos e comunidades.
• Horários de trabalho flexíveis.