Senior Ata Engineer (remote Rom Portugal Or Selete Eu Ountries)

Estamos à procura de um Engenheiro de Dados Sênior com fortes habilidades em inglês para se juntar a nós em um projeto com uma empresa baseada na Europa. Esta é uma posição remota, e consideraremos candidatos de Portugal e um conjunto limitado de países da UE.

Nossa Cliente é um jogador global no campo de operações, risco e serviços e soluções de sustentabilidade para empresas e indústrias em todo o mundo. O Engenheiro de Dados Sênior que estamos procurando apoiará a entrega de valor em toda a operação e ecossistema tecnológico do cliente.

Responsabilidades e atribuições:

• Atuar como referência técnica para a plataforma de dados Databricks do Cliente, projetando e operando pipelines de dados confiáveis.
• Implementar práticas de Data Ops e CI/CD, estabelecendo uma forte governança de dados para garantir conjuntos de dados seguros, rastreáveis e prontos para IA.
• Projetar, construir e otimizar pipelines de dados em lote e em streaming no Databricks usando Py Spark, Spark SQL, Delta Lake e Delta Live Tables.
• Evoluir a arquitetura Lakehouse (camadas bronze, prata e ouro) para ingerir e transformar dados operacionais, comportamentais e de HSE de múltiplos clientes e fontes.
• Implementar e manter pipelines CI/CD para cargas de trabalho de dados usando Databricks Asset Bundles, Git, Azure Dev Ops ou Git Hub Actions.
• Automatizar testes de dados, verificações de qualidade e promoção entre ambientes de desenvolvimento, homologação e produção.
• Implementar e gerenciar o Unity Catalog, incluindo catálogos, permissões, linhagem, auditoria e políticas de acesso a dados.
• Definir e impor padrões de governança de dados, controles de segurança, mascaramento de dados e isolamento de dados por cliente para garantir conformidade com LGPD e GDPR.
• Monitorar o desempenho dos pipelines, definir SLAs, configurar alertas e liderar revisões de incidentes.
• Provisionar infraestrutura como código usando Terraform e padronizar modelos de pipeline e melhores práticas.
• Atuar como referência técnica revisando códigos, orientando engenheiros de nível médio e júnior e colaborando com equipes de produto, ciência de dados e consultoria.
• Documentar decisões de arquitetura, padrões técnicos e melhores práticas de engenharia de dados.

Requisitos e qualificações:

• Experiência mínima de 6 anos em funções semelhantes, incluindo 3 anos trabalhando com Databricks em ambientes de produção.
• Experiência prática com Databricks em produção, incluindo Py Spark, Spark SQL, Delta Lake e Delta Live Tables.
• Experiência sólida em projetar e otimizar pipelines em lote e em streaming e evoluir arquiteturas Lakehouse.
• Experiência comprovada em implementar CI/CD para cargas de trabalho de dados usando Git, Azure Dev Ops ou Git Hub Actions.
• Experiência prática em Data Ops, incluindo testes automatizados, versionamento de pipelines, observabilidade e monitoramento.
• Experiência prática em governança de dados, idealmente usando Unity Catalog.
• Experiência com Infraestrutura como Código usando Terraform.
• Proficiência em Python, Py Spark e SQL avançado.
• Experiência em nuvem, preferencialmente no Azure.
• Fluência em inglês para trabalhar com equipes e clientes globais.

Informações adicionais:

• Esta é uma posição totalmente remota.
• O papel pode ser oferecido sob um dos seguintes arranjos: contrato de trabalho, contratante independente ou B2B.