Senior Data Engineer (databricks/pyspark/sql) - Portugal Or Spain Full Remote in Lisbon

Junte-se a um ambiente tecnológico internacional focado na construção de plataformas de dados modernas e escaláveis que permitem melhores análises e tomada de decisões empresariais. Você contribuirá para o desenvolvimento de uma plataforma Lakehouse empresarial, trabalhando com tecnologias de dados em nuvem modernas e colaborando com Arquitetos de Dados, equipes de Análise e partes interessadas do negócio.

Esta oportunidade é ideal para um Engenheiro de Dados com forte experiência prática em Databricks que gosta de projetar pipelines de dados robustos, melhorar a qualidade dos dados e entregar produtos de dados confiáveis em um ambiente colaborativo e ágil.

PROJETO & CONTEXTO

Você irá projetar, desenvolver e manter pipelines de ingestão e transformação de dados escaláveis em uma plataforma Lakehouse baseada em Databricks. Seu trabalho abrangerá a implementação de camadas de dados Bronze, Silver e Gold, integrando dados de sistemas empresariais, APIs e fontes externas, garantindo desempenho, confiabilidade, segurança e qualidade dos dados. Você desenvolverá fluxos de trabalho de processamento usando Py Spark e SQL, implementará estruturas de engenharia reutilizáveis e otimizará pipelines para escalabilidade e eficiência de custos. Trabalhando em estreita colaboração com Arquitetos de Dados, você traduzirá padrões de arquitetura estabelecidos em soluções práticas de engenharia. O papel também envolve apoiar iniciativas de governança de dados, linhagem, catalogação e gerenciamento de acesso, enquanto permite que equipes de BI e Análise consumam dados confiáveis e prontos para o negócio. Você participará de cerimônias ágeis e contribuirá para a entrega através de controle de versão baseado em Git e práticas de CI/CD.

O QUE ESTAMOS PROCURANDO (Requisitos)

• Pelo menos 4 anos de experiência profissional em Engenharia de Dados.
• Pelo menos 2 anos de experiência prática em desenvolvimento Databricks.
• Fortes habilidades práticas em Databricks e Py Spark para construir e manter pipelines de processamento de dados.
• Fortes habilidades de desenvolvimento e otimização SQL.
• Experiência com serviços da Azure Data Platform.
• Experiência comprovada em projetar e implementar pipelines ETL/ELT, incluindo ingestão e transformação de dados.
• Compreensão da arquitetura Lakehouse e Medallion Architecture, incluindo camadas de dados Bronze, Silver e Gold.
• Experiência em integrar dados de múltiplos sistemas empresariais, APIs e fontes externas.
• Conhecimento de princípios de qualidade de dados, confiabilidade de pipelines, otimização de desempenho e segurança de dados.
• Experiência usando Git e práticas de CI/CD em fluxos de trabalho de engenharia de dados.
• Capacidade de colaborar efetivamente com Arquitetos de Dados, equipes de BI e Análise, e partes interessadas do negócio.
• Proficiência profissional em inglês.
• Disponibilidade para trabalhar remotamente de Portugal ou Espanha.

NICE TO HAVE (Preferencial)

• Experiência com Delta Live Tables (DLT).
• Familiaridade com Unity Catalog e capacidades de governança de dados do Databricks.
• Experiência com Microsoft Fabric.
• Envolvimento anterior em programas de Data Hub ou Enterprise Data Platform.
• Experiência desenvolvendo estruturas e componentes reutilizáveis de engenharia de dados.
• Conhecimento de práticas de linhagem de dados, catalogação e governança de dados empresariais.
• Experiência otimizando cargas de trabalho de dados em nuvem para desempenho e eficiência de custos.

Compensação: €2,300 – €3,050/mês líquido, dependendo da experiência e nível de senioridade.

Por que as pessoas da Human IT ficam (4.4 Glassdoor, 89% recomendam)

• Salário do 15º mês.
• Seguro de saúde cobrindo sua família.
• Dia de aniversário livre.
• Programa de mobilidade para nômades digitais.
• Equilíbrio real entre vida profissional e pessoal.
• Benefícios completos.