Data Engineer ID94415 in Lisbon

AgileEngine é uma empresa do Inc. 5000 que cria software premiado para marcas da Fortune 500 e startups inovadoras em mais de 17 indústrias. Classificamo-nos entre os líderes em áreas como desenvolvimento de aplicações e IA/ML, e nossa cultura centrada nas pessoas nos rendeu múltiplos prêmios de Melhor Lugar para Trabalhar.

POR QUE SE JUNTAR A NÓS

Se você está procurando um lugar para crescer, causar impacto e trabalhar com pessoas que se importam, adoraríamos conhecê-lo!

SOBRE O PAPEL

Estamos à procura de um Engenheiro de Dados para executar migrações de plataformas de dados em larga escala para o Snowflake e apoiar fluxos de trabalho confiáveis no Airflow.

REQUISITOS OBRIGATÓRIOS

• Fundamentos sólidos de engenharia de software.
• Mais de 3 anos de experiência prática em desenvolvimento Python.
• SQL avançado, incluindo joins complexos, CTEs, funções de janela e otimização de desempenho.
• Modelagem de dados no Snowflake.
• Apache Airflow - desenvolvimento e teste de pipelines no Airflow e Python.
• Apache Kafka.
• Apache Spark, incluindo experiência prática com PySpark.
• Formatos de dados Iceberg e Parquet.
• Experiência com AWS, particularmente S3 (lagos de dados, particionamento e políticas de ciclo de vida).
• Experiência em estratégia de testes, com a capacidade de depurar e testar código na prática.
• Pelo menos 2 anos de experiência na indústria trabalhando com conjuntos de dados em larga escala, incluindo Airflow e Spark.
• Nível de inglês intermediário superior.

REQUISITOS DESEJÁVEIS

• Experiência prática com migrações para Snowflake (modernização de armazém de dados, otimização de desempenho e custo).
• Experiência com migrações do Apache Airflow (atualizações de versão, mudanças de executor ou migrações de plataforma).
• Experiência usando ferramentas de IA para desenvolvimento.

O QUE VOCÊ FARÁ

• Trabalhar embutido na função de engenharia de dados, colaborando de perto com a equipe de plataforma de dados para apoiar um grande esforço de modernização da plataforma de dados.
• Executar a migração de aproximadamente 1.000 conjuntos de dados para o Snowflake.
• Adaptar pipelines existentes para o Snowflake, seguindo a arquitetura central e a abordagem técnica definida pela equipe interna.
• Garantir a qualidade e confiabilidade dos dados durante o processo de migração.
• Apoiar o agendamento e monitoramento de fluxos de trabalho no Apache Airflow.
• Executar migrações sensíveis ao tempo, incluindo Airflow 2 para 3, migração de região Confluent e a mudança para Iceberg.
• Ajudar a acelerar as iniciativas de migração com prazo para conclusão até o final de março de 2027.

BENEFÍCIOS E VANTAGENS

• Crescimento profissional: Mentoria, TechTalks e roteiros de crescimento personalizados.
• Compensação competitiva: pagamento baseado em USD com orçamentos para educação, fitness e atividades em equipe.
• Projetos empolgantes: soluções modernas com empresas da Fortune 500 e principais empresas de produtos.
• Horário flexível: horário flexível com opções remotas e de escritório.

CONHEÇA NOSSO PROCESSO DE RECRUTAMENTO

Inscrição → Desafio de Codificação → Entrevista em Vídeo → Entrevista Técnica ou Entrevista com o Gerente de Contratação. Cada etapa nos ajuda a entender suas habilidades e adequação geral. Se for uma combinação, você receberá uma oferta.