Senior Ai Compute Infrastructure Engineer

Kraken está a construir uma equipa dedicada de Infraestrutura e Computação AI para impulsionar a próxima geração de treino, inferência, avaliação e experimentação de modelos em toda a troca. Esta equipa faz parte da liderança de engenharia e é responsável pela camada de infraestrutura que permite à Kraken executar cargas de trabalho de AI com controlo, velocidade, fiabilidade e disciplina de custos.

A equipa é responsável pela infraestrutura de GPU e aceleradores, operações de cluster, agendamento, serviço de modelos, observabilidade, planeamento de capacidade e computação eficiente em custos em grande escala. Este é o suporte que permite à Kraken treinar, servir, avaliar e iterar sobre sistemas de AI internamente, onde isso é importante para privacidade, latência, fiabilidade, custo ou diferenciação de produto.

Você fará parte de uma pequena equipa sénior de alto impacto, trabalhando diretamente com investigadores de AI/ML, engenheiros de plataforma, equipas de segurança e equipas de produto. O mandato é simples: tornar as ambições de AI da Kraken reais, construindo uma infraestrutura de computação que seja rápida, fiável, eficiente e de nível de produção.

Responsabilidades:

• Possuir e operar clusters de GPU e aceleradores usados para treino, inferência, avaliação e experimentação, incluindo drivers, runtimes, kernels, plugins de dispositivo, configuração de nós, primitivas de agendamento e isolamento de carga de trabalho.
• Projetar infraestrutura que permita às equipas da Kraken executar modelos localmente em GPUs onde for estrategicamente e economicamente preferível, reduzindo a dependência desnecessária de fornecedores externos e controlando os custos de computação.
• Construir e melhorar sistemas de agendamento, orquestração, colocação, gestão de quotas e utilização em ambientes heterogéneos de aceleradores.
• Otimizar pipelines de inferência para latência, throughput, fiabilidade, eficiência de memória e custo usando frameworks como v LLM, Triton Inference Server, Tensor RT ou pilhas de serviço equivalentes.
• Colaborar com engenheiros e investigadores de ML para remover gargalos em treino, avaliação, inferência em lote, inferência online, implantação e fluxos de trabalho de depuração em produção.
• Construir observabilidade para utilização de GPU, pressão de memória, profundidade de fila, saturação, throughput de tokens, latência de pedidos, cargas de trabalho falhadas, pressão de capacidade e gastos.
• Conduzir fiabilidade, resposta a incidentes, alertas, runbooks e melhorias pós-incidente para infraestrutura de computação AI sempre ativa.
• Avaliar e integrar novo hardware, famílias de instâncias em nuvem, aceleradores especializados, runtimes, agendadores e frameworks de serviço à medida que o panorama da infraestrutura de AI evolui.
• Construir ferramentas que tornem a utilização de GPU visível, responsável e mais fácil para as equipas internas consumirem sem precisar de se tornarem especialistas em infraestrutura.
• Contribuir para decisões de arquitetura a longo prazo que equilibrem desempenho, eficiência de custos, escalabilidade, simplicidade operacional e segurança em produção.

Experiência e Habilidades:

• Mais de 5 anos de experiência em engenharia de infraestrutura, com tempo significativo dedicado a computação em GPU, infraestrutura de ML, sistemas distribuídos, computação de alto desempenho ou plataformas de produção em larga escala.
• Experiência prática na operação de clusters de GPU ou infraestrutura suportada por aceleradores em ambientes de produção ou semelhantes a produção, incluindo agendamento, orquestração, monitorização de utilização e otimização de custos.
• Fundamentos sólidos de engenharia de sistemas em Linux, redes, armazenamento, containers, Kubernetes, runtimes distribuídos e depuração em produção.
• Experiência com frameworks de serviço de ML como v LLM, Triton Inference Server, Tensor RT, Torch Serve, KServe, Ray Serve ou sistemas equivalentes.
• Proficiência em Python para automação de infraestrutura, ferramentas, depuração, integração e fluxos de trabalho operacionais.
• Compreensão prática das compensações de desempenho em relação ao agrupamento, concorrência, utilização de memória, utilização de GPU, tamanho do modelo, latência, throughput, disponibilidade e custo.
• Histórico de otimização de custos de computação enquanto mantém expectativas claras de desempenho, fiabilidade e disponibilidade.
• Experiência na construção de sistemas observáveis com métricas úteis, logs, rastreamentos, dashboards, alertas e fluxos de trabalho de incidentes.
• Confortável a trabalhar em ambientes críticos, sempre ativos, onde uptime, throughput, correção e disciplina operacional são críticos.
• Comunicação clara que pode traduzir compensações de infraestrutura para investigadores, equipas de produto, engenheiros de plataforma, partes interessadas de segurança e liderança de engenharia.

Nice to Have Skills:

• Experiência em um laboratório de AI de fronteira, hyperscaler, empresa de trading de alta frequência, plataforma de pesquisa ou organização de ML em grande escala.
• Familiaridade com silício personalizado ou aceleradores especializados como TPUs, AWS Trainium, Gaudi ou plataformas semelhantes.
• Experiência em planeamento de capacidade, input de aquisição, estratégia de capacidade reservada, economia de aceleradores em nuvem ou gestão de custos de frota de GPU.
• Experiência com frameworks de treino distribuído como Deep Speed, Megatron-LM, FSDP, Ray ou sistemas equivalentes.
• Experiência em depuração de CUDA, NCCL, kernel, driver, runtime, memória, rede ou problemas de desempenho de baixo nível.
• Experiência com Rust, C++, Go, CUDA ou outras linguagens de sistemas usadas para infraestrutura crítica de desempenho.
• Experiência em criptomoeda, serviços financeiros, infraestrutura de trading ou infraestrutura de produção sensível à segurança.

Informação Adicional: A menos que uma data específica de candidatura seja indicada no anúncio de emprego, as candidaturas são aceites de forma contínua. Por favor, note que os candidatos podem redigir ou remover informações no seu currículo que identifiquem idade, data de nascimento ou datas de frequência ou graduação em uma instituição educacional. Consideramos candidatos qualificados com históricos criminais para emprego na nossa equipa, avaliando candidatos de uma maneira consistente com os requisitos da San Francisco Fair Chance Ordinance.

Poderemos pedir aos candidatos que completem avaliações de habilidades relacionadas ao trabalho ou avaliações de estilo de trabalho como parte do nosso processo de contratação. Estas avaliações são projetadas para avaliar competências relevantes para o papel e são aplicadas de forma consistente entre candidatos para posições semelhantes. Os resultados das avaliações são considerados juntamente com outras informações relevantes, como experiência e entrevistas, e não são a única base para qualquer decisão de emprego. Como empregador de igualdade de oportunidades, não toleramos discriminação ou assédio de qualquer tipo, seja com base em raça, etnia, idade, identidade de gênero, cidadania, religião, orientação sexual, deficiência, gravidez, status de veterano ou qualquer outra característica protegida conforme descrito pelas leis federais, estaduais ou locais.