Lead Engineer, Ai Quality in Lisbon

A Circle está a construir a plataforma digital líder no mundo, alimentada por IA e tudo-em-um para negócios digitais. Tornamos possível que criadores, treinadores, educadores e empresas reúnam seu público com discussões envolventes, transmissões ao vivo, eventos, chats, cursos e pagamentos — tudo em um só lugar, sob sua própria marca.

Estamos orgulhosos de ser uma empresa totalmente remota com cerca de 270 membros da equipe de mais de 30 países ao redor do mundo. Buscamos indivíduos excepcionais em todo o mundo, preparando-os para fazer o melhor trabalho de suas vidas e, assim, criar um impacto significativo em suas próprias vidas. Não rastreamos horas, mas gerimos expectativas altas de forma muito próxima. Colaboramos através de fusos horários, somos altamente assíncronos e gostamos de documentar bastante.

Duas vezes por ano, reunimos toda a empresa em lugares bonitos ao redor do mundo para nossos encontros corporativos. Até agora, hospedamos encontros na Turquia, Portugal, México, Tailândia, Colômbia, Itália, Irlanda e mais, com muitos outros por vir!

Sobre o papel

A equipe de engenharia de Qualidade de IA da Circle é responsável pela base para medir, diagnosticar e melhorar a qualidade das funcionalidades alimentadas por IA da Circle. Esta equipe foca na construção da infraestrutura para medir, diagnosticar e melhorar sistemas de IA em produção, em vez de pesquisa em ML ou treinamento de modelos.

Estamos à procura de um Engenheiro Líder para nos ajudar a construir as estruturas de avaliação, ferramentas de observabilidade e infraestrutura de diagnóstico que nos dizem se nossos Agentes de IA estão funcionando bem, onde melhorá-los e como torná-los mais rápidos e eficientes em termos de custo. Este é um papel prático de jogador-treinador. Você também liderará e gerenciará a equipe de engenharia de Qualidade de IA, com um roteiro ambicioso e em crescimento.

O que você fará

• Construir e possuir nossa infraestrutura de avaliação.
• Projetar os pipelines CI/CD, avaliadores e conjuntos de dados que nos dizem se os agentes de IA da Circle estão realmente funcionando.
• Diagnosticar exatamente onde a qualidade falha.
• Rastrear falhas ao longo do pipeline do agente, incluindo criação vs. execução de planos, seleção de ferramentas e trajetória de ferramentas em áreas complexas.
• Transformar o que você encontra em protótipos que resolvem o problema ou identificam prioridades.
• Crescer os conjuntos de dados que tornam a avaliação possível.
• Estabelecer fluxos de trabalho de anotação e construir conversas geradas por IA.
• Executar experimentos estruturados.
• Avaliar novos modelos e construir a estrutura que usamos para decidir quando mudar modelos.
• Liderar e crescer a equipe de engenharia de Qualidade de IA.
• Definir a direção técnica e gerenciar prioridades diárias.
• Colaborar de perto com a engenharia de IA Core.

O que você precisa para ter sucesso

• Mais de 7 anos de experiência em construção e entrega de software em produção.
• Experiência em sistemas complexos que utilizam múltiplas ferramentas.
• Confortável em Ruby on Rails / Python ou pronto para aprendê-los rapidamente.
• Experiência em construir infraestrutura de avaliação ou observabilidade para sistemas de ML/IA.
• Experiência em projetar conjuntos de dados e fluxos de trabalho de anotação.
• Aprender rapidamente, experimentar agressivamente e prosperar em um ambiente dinâmico.
• Confortável em um ambiente acelerado com ambiguidade.
• Alinhamento forte com os valores da empresa.
• Proficiência em inglês (falado, escrito e leitura) em nível C2.

A Circle oferece compensação com base nos padrões dos EUA globalmente, participação na empresa com concessões de ações contínuas e 35 dias de folga remunerada por ano. Somos uma equipe apenas remota que se reúne duas vezes por ano para retiros corporativos em destinos incríveis ao redor do mundo.