Senior Ai Product Analyst - Voice Ai Agents

Sobre a Posição

MEDvidi é uma plataforma de saúde mental impulsionada por IA que estabelece um novo padrão para cuidados psiquiátricos seguros, eficazes e escaláveis nos Estados Unidos. Combinamos provedores licenciados com ferramentas de IA proprietárias para oferecer tratamento consistente e orientado por resultados para condições como TDAH, ansiedade, depressão e mais. A tecnologia da MEDvidi automatiza a documentação, os acompanhamentos e o planejamento de tratamento, permitindo que os provedores se concentrem no cuidado ao paciente enquanto melhoram a eficiência e a qualidade clínica.

A equipe de Recepcionistas de IA da MEDvidi constrói e melhora Agentes de IA de Voz que interagem diretamente com os pacientes e automatizam partes críticas da jornada do paciente. Esses sistemas lidam com conversas do mundo real, apoiam fluxos de trabalho operacionais e ajudam os pacientes a navegar pelos cuidados de forma mais eficiente. À medida que esses agentes se tornam mais autônomos e lidam com interações cada vez mais complexas, entender como eles se comportam em produção torna-se um desafio crítico de produto e de negócios. Estamos contratando um Analista de Produto de IA para nos ajudar a avaliar, monitorar e melhorar os sistemas de IA de Voz operando em escala.

Responsabilidades

• Analisar o comportamento em produção dos Agentes de IA de Voz e fluxos de trabalho de IA conversacional.
• Investigar alucinações, inconsistências, falhas silenciosas e degradação da qualidade em conversas impulsionadas por IA.
• Trabalhar diretamente com transcrições de chamadas, logs, saídas geradas e conjuntos de dados operacionais para descobrir padrões e insights acionáveis.
• Projetar estruturas de avaliação para medir a qualidade, confiabilidade e impacto comercial da IA.
• Construir sistemas de monitoramento e painéis para visibilidade de desempenho da IA.
• Medir o impacto dos sistemas de IA na eficiência operacional, resultados comerciais e experiência do paciente.
• Detectar mudanças de qualidade, anomalias e modos de falha emergentes em ambientes de produção.
• Colaborar estreitamente com as equipes de Produto, Engenharia, QA e Operações em iniciativas de IA.
• Apoiar a tomada de decisões rápidas em ambientes ambíguos e em rápida mudança.

Requisitos

• Mais de 5 anos de experiência em Análise de Produto, Análise de Dados, Análise Operacional ou funções analíticas dentro de sistemas de produção complexos.
• Fortes habilidades em SQL.
• Python para investigações analíticas e trabalho com conjuntos de dados de texto em larga escala.
• Experiência trabalhando com pipelines de ML ou produtos impulsionados por IA.
• Compreensão das limitações de LLM, alucinações, desafios de avaliação, sensibilidade a prompts e modos de falha da IA.
• Experiência na construção de sistemas de monitoramento, estruturas analíticas ou painéis operacionais.
• Fortes habilidades de comunicação e capacidade de traduzir análises em decisões de produto.
• Capacidade de trabalhar efetivamente em ambientes ambíguos e em rápida mudança.
• Fluência em russo; nível de inglês B2 ou superior.
• Capacidade de trabalhar em horários sobrepostos ao CET.

Seria um diferencial

• Experiência com IA conversacional ou agentes de IA.
• Experiência na avaliação de saídas de LLM.
• Experiência com métricas de qualidade de IA e metodologias de avaliação.
• Experiência com iteração de prompts e estruturas de avaliação de IA.

O que oferecemos

• Ambiente de alto impacto: Uma chance de influenciar como a IA é usada em interações reais com pacientes.
• Crescimento e compensação: Compensação competitiva e claras oportunidades de crescimento.
• Remoto: Colaboração B2B totalmente remota e a longo prazo.
• Saúde e bem-estar: Seguro de saúde após o período de experiência, além de compensação para esportes e bem-estar.
• Desenvolvimento de carreira: Crescimento profissional, incluindo aulas personalizadas de inglês via Preply.
• Férias: 19 dias úteis de férias por ano, 4 dias adicionais de bem-estar e licença médica paga pelos primeiros 5 dias úteis.
• Cultura: Presentes pensativos para eventos importantes da vida.

Pronto para fazer a diferença? Envie-nos seu perfil, vamos construir algo significativo juntos.

A MEDvidi é um Empregador de Oportunidades Iguais. Celebramos a diversidade e estamos comprometidos em criar um ambiente inclusivo para todos os funcionários e contratados. Todos os candidatos qualificados receberão consideração sem distinção de raça, cor, religião, sexo, orientação sexual, identidade de gênero, origem nacional, deficiência ou status de veterano.