Num relance
- Tarefas: Executar migrações de plataformas de dados em larga escala para Snowflake e apoiar fluxos de trabalho em Airflow.
- Empresa: Empresa premiada que desenvolve software para marcas Fortune 500 e startups inovadoras.
- Benefícios: Crescimento profissional, compensação competitiva e orçamentos para educação e atividades em equipa.
- Outras informações: Ambiente dinâmico com oportunidades de crescimento na carreira.
- Porquê este emprego: Trabalhe em projetos emocionantes e faça a diferença com tecnologia de ponta.
- Qualificações: Experiência em engenharia de software e desenvolvimento em Python, SQL e ferramentas de dados.
O salário previsto situa-se entre 56250 - 68750 € por ano.
AgileEngine é uma empresa do Inc. 5000 que cria software premiado para marcas da Fortune 500 e startups inovadoras em mais de 17 indústrias. Classificamo-nos entre os líderes em áreas como desenvolvimento de aplicações e IA/ML, e nossa cultura centrada nas pessoas nos rendeu múltiplos prêmios de Melhor Lugar para Trabalhar.
POR QUE SE JUNTAR A NÓS
Se você está procurando um lugar para crescer, causar impacto e trabalhar com pessoas que se importam, adoraríamos conhecê-lo!
SOBRE O PAPEL
Estamos à procura de um Engenheiro de Dados para executar migrações de plataformas de dados em larga escala para o Snowflake e apoiar fluxos de trabalho confiáveis no Airflow.
REQUISITOS OBRIGATÓRIOS
- Fundamentos sólidos de engenharia de software.
- Mais de 3 anos de experiência prática em desenvolvimento Python.
- SQL avançado, incluindo joins complexos, CTEs, funções de janela e otimização de desempenho.
- Modelagem de dados no Snowflake.
- Apache Airflow - desenvolvimento e teste de pipelines no Airflow e Python.
- Apache Kafka.
- Apache Spark, incluindo experiência prática com PySpark.
- Formatos de dados Iceberg e Parquet.
- Experiência com AWS, particularmente S3 (lagos de dados, particionamento e políticas de ciclo de vida).
- Experiência em estratégia de testes, com a capacidade de depurar e testar código na prática.
- Pelo menos 2 anos de experiência na indústria trabalhando com conjuntos de dados em larga escala, incluindo Airflow e Spark.
- Sobreposição até às 12 PM, horário do Pacífico.
- Nível de inglês intermediário superior.
REQUISITOS DESEJÁVEIS
- Experiência prática com migrações para Snowflake (modernização de armazém de dados, otimização de desempenho e custo).
- Experiência com migrações do Apache Airflow (atualizações de versão, mudanças de executor ou migrações de plataforma).
- Experiência usando ferramentas de IA para desenvolvimento.
O QUE VOCÊ FARÁ
- Trabalhar embutido na função de engenharia de dados, colaborando de perto com a equipe de plataforma de dados para apoiar um grande esforço de modernização da plataforma de dados.
- Executar a migração de aproximadamente 1.000 conjuntos de dados para o Snowflake.
- Adaptar pipelines existentes para o Snowflake, seguindo a arquitetura central e a abordagem técnica definida pela equipe interna.
- Garantir a qualidade e confiabilidade dos dados durante o processo de migração.
- Apoiar o agendamento e monitoramento de fluxos de trabalho no Apache Airflow.
- Executar migrações sensíveis ao tempo, incluindo Airflow 2 para 3, migração de região Confluent e a mudança para Iceberg.
- Ajudar a acelerar as iniciativas de migração com prazo para conclusão até o final de março de 2027.
BENEFÍCIOS E VANTAGENS
- Crescimento profissional: Mentoria, TechTalks e roteiros de crescimento personalizados.
- Compensação competitiva: pagamento baseado em USD com orçamentos para educação, fitness e atividades em equipe.
- Projetos empolgantes: soluções modernas com empresas da Fortune 500 e principais empresas de produtos.
- Horário flexível: horário flexível com opções remotas e de escritório.
CONHEÇA NOSSO PROCESSO DE RECRUTAMENTO
Inscrição → Desafio de Codificação → Entrevista em Vídeo → Entrevista Técnica ou Entrevista com o Gerente de Contratação. Cada etapa nos ajuda a entender suas habilidades e adequação geral. Se for uma combinação, você receberá uma oferta.
Empregador para Data Engineer ID94415 in Braga: Agileengine, Llc.
A AgileEngine é uma empresa premiada que se destaca na criação de software inovador para marcas Fortune 500 e startups de ponta. Com uma cultura centrada nas pessoas, oferecemos oportunidades de crescimento profissional através de mentorias e projetos emocionantes, além de um equilíbrio saudável entre vida profissional e pessoal com horários flexíveis e a opção de trabalho remoto. Junte-se a nós para fazer a diferença em um ambiente colaborativo e dinâmico, onde suas contribuições são valorizadas e reconhecidas.
