Data Engineer Id89383 in Aveiro

AgileEngine é uma empresa do Inc. 5000 que cria software premiado para marcas da Fortune 500 e startups inovadoras em mais de 17 indústrias. Classificamo-nos entre os líderes em áreas como desenvolvimento de aplicações e IA/ML, e nossa cultura centrada nas pessoas nos rendeu vários prêmios de Melhor Lugar para Trabalhar.

POR QUE SE JUNTAR A NÓS

Se você está procurando um lugar para crescer, causar impacto e trabalhar com pessoas que se importam, adoraríamos conhecê-lo!

SOBRE O PAPEL

Estamos à procura de um Engenheiro de Dados com forte experiência em Databricks e GCP para desenvolver pipelines ETL/ELT escaláveis e automatizar fluxos de trabalho para engenharia de dados.

REQUISITOS OBRIGATÓRIOS

• Mais de 5 anos de experiência prática com Databricks e PySpark.
• Habilidades avançadas em SQL e processamento de dados.
• Experiência prática com GCP, particularmente BigQuery.
• Experiência com Delta Lake e arquiteturas modernas de data lake/lakehouse.
• Forte compreensão de ETL/ELT, design de pipelines de dados, otimização de desempenho e qualidade de dados.
• Experiência na construção de soluções de dados confiáveis, escaláveis e de produção.
• Fortes habilidades analíticas e de resolução de problemas.
• Compreensão das práticas de engenharia de software, incluindo testes, controle de versão, implantação, monitoramento e suporte à produção.

REQUISITOS DESEJÁVEIS

• Experiência no desenvolvimento ou integração de fluxos de trabalho de IA, agentes de IA ou soluções de automação de fluxos de trabalho.
• Experiência na aplicação de IA para automatizar engenharia de dados, validação, resolução de problemas ou processos operacionais.
• Familiaridade com frameworks de orquestração e automação.
• Experiência no desenvolvimento de frameworks reutilizáveis de engenharia de dados e componentes de plataforma.
• Exposição à produção de soluções habilitadas por IA com validação, monitoramento e supervisão humana apropriados.

O QUE VOCÊ FARÁ

• Projetar, desenvolver e otimizar pipelines de dados ETL/ELT escaláveis usando Databricks, PySpark e SQL.
• Construir e operacionalizar fluxos de trabalho para automatizar processos de engenharia de dados e operacionais, como validação de dados, identificação de problemas, resolução de problemas e execução de fluxos de trabalho.
• Integrar capacidades automatizadas com ambientes existentes de Databricks, GCP, BigQuery e Delta Lake.
• Desenvolver pipelines de dados e soluções de processamento para apoiar novos requisitos de negócios e conjuntos de dados.
• Construir frameworks e componentes reutilizáveis que possam ser aproveitados em vários casos de uso de engenharia de dados e negócios.
• Implementar verificações de qualidade de dados, monitoramento, validação, tratamento de exceções e controles de produção.
• Otimizar cargas de trabalho de PySpark e SQL para desempenho, confiabilidade e escalabilidade.
• Suportar testes, implantação, produção e aprimoramento contínuo de soluções de dados e automatizadas.
• Resolver problemas complexos de dados e produção e implementar soluções sustentáveis.
• Colaborar com equipes de negócios, engenharia de dados e plataforma para identificar mais oportunidades de automação.

VANTAGENS E BENEFÍCIOS

• Crescimento profissional: Mentoria, TechTalks e roteiros de crescimento personalizados.
• Compensação competitiva: pagamento baseado em USD com orçamentos para educação, fitness e atividades em equipe.
• Projetos empolgantes: soluções modernas com empresas da Fortune 500 e principais empresas de produtos.
• Horário flexível: horário flexível com opções remotas e de escritório.

CONHEÇA NOSSO PROCESSO DE RECRUTAMENTO

Cada etapa nos ajuda a entender suas habilidades e adequação geral. Se for uma combinação, você receberá uma oferta.