Senior Data Engineer

Como Engenheiro de Dados Sénior, você contribui para o design, construção e evolução contínua de uma solução moderna de data lake para um ambiente de serviços financeiros. Trabalhando como parte de uma equipe multifuncional de engenheiros de dados, arquitetos, analistas e especialistas de domínio, você transforma requisitos de dados complexos em produtos de dados seguros, escaláveis e sustentáveis.

Você projeta, implementa, testa, implanta e opera pipelines robustos de ETL/ELT para dados estruturados e não estruturados. Seu trabalho abrange a ingestão de dados de ponta a ponta, transformação, validação, armazenamento e provisão - desde a análise do sistema de origem até a implantação produtiva e melhoria operacional. Você trabalha diretamente com tecnologias como Apache NiFi, Apache Spark, Python, SQL, Kafka, PostgreSQL, MongoDB, Parquet, APIs REST e Polaris.

Você constrói carregadores de dados reutilizáveis e componentes de integração, e apoia a equipe na aplicação de padrões consistentes de engenharia, teste e implantação. Dependendo da arquitetura da solução, você utiliza serviços em nuvem na AWS e/ou Azure. Uma parte fundamental do seu papel é colaborar com partes interessadas de negócios e TI para reunir, desafiar e estruturar requisitos para domínios de dados, interfaces e pipelines. Você traduz esses requisitos em especificações técnicas claras, mapeamentos de dados e itens de backlog implementáveis.

Em um contexto de serviços financeiros, você se preocupa em garantir a qualidade dos dados, rastreabilidade, segurança e processamento confiável. Você utiliza aplicações e agentes GenAI de forma responsável como parte do seu fluxo de trabalho de desenvolvimento - por exemplo, para acelerar revisões de código, documentação, criação de testes, resolução de problemas e análise - enquanto valida todas as saídas e adere à governança do projeto.

O que o distingue:

• Licenciatura em Ciência da Computação, Informática Empresarial, Engenharia de Dados, Ciência de Dados ou qualificação comparável.
• Experiência prática típica de 5+ anos em engenharia de dados, desenvolvimento de software, integração de dados ou desenvolvimento de plataformas de dados.
• Experiência comprovada em projetar, implementar, testar e operar pipelines de ETL/ELT de produção.
• Fortes habilidades em Python e SQL, incluindo escrita de código sustentável, performático e testável.
• Experiência prática com Apache Spark e PySpark, incluindo processamento de dados distribuídos e transformações conscientes de desempenho.
• Experiência sólida com Apache NiFi para ingestão de dados, roteamento, integração e monitoramento operacional.
• Experiência em implementar fluxos de dados orientados a eventos ou quase em tempo real com Apache Kafka.
• Bom conhecimento de bancos de dados relacionais e não relacionais, idealmente PostgreSQL e MongoDB.
• Experiência prática trabalhando com formatos de dados modernos e conceitos de armazenamento, especialmente Parquet.
• Experiência em integrar sistemas de origem através de APIs REST, bancos de dados, arquivos e interfaces de streaming.
• Forte compreensão de trabalhar com dados estruturados e não estruturados.
• Experiência em projetar e implementar carregadores de dados reutilizáveis, estruturas de ingestão e padrões de pipeline padronizados.
• Experiência prática em nuvem com AWS e/ou Azure, incluindo serviços relevantes de armazenamento, computação, integração e segurança.
• Capacidade de reunir e estruturar requisitos complexos de dados e pipelines, traduzi-los em designs técnicos e comunicá-los claramente a partes interessadas técnicas e não técnicas.
• Forte consciência da qualidade dos dados, validação, reconciliação, observabilidade, linhagem e tratamento de erros.
• Experiência com práticas de engenharia de software, como Git, revisões de código, testes automatizados, CI/CD e processos de implantação.
• Experiência com Polaris ou componentes comparáveis de plataforma de dados e governança.
• Experiência com arquiteturas de data lake ou lakehouse, como camadas brutas/padronizadas/curadas ou bronze/prata/ouro.
• Conhecimento de modelagem de dados, incluindo modelos dimensionais, modelos de dados canônicos e gestão de histórico.
• Experiência com automação de infraestrutura, conteinerização, orquestração e padrões de implantação nativos da nuvem.
• Familiaridade com domínios de dados de serviços financeiros, requisitos regulatórios, auditabilidade, proteção de dados, risco ou processos de conformidade.
• Experiência com estruturas de ingestão orientadas a metadados e desenvolvimento de pipelines baseados em configuração.
• Conhecimento de ferramentas de catálogo de dados, governança, linhagem, gerenciamento de acesso ou qualidade de dados.
• Experiência prática aplicando assistentes ou agentes GenAI em atividades de desenvolvimento, como geração de casos de teste, documentação de pipelines, análise de logs ou suporte a revisões de código.
• Certificações relevantes em nuvem, engenharia de dados, Kafka, Spark ou banco de dados.
• Um estilo de trabalho colaborativo e responsável e a capacidade de apoiar colegas através de discussões técnicas, revisões e padrões compartilhados.
• Fluência em inglês; alemão é uma vantagem dependendo do contexto do projeto.

O que você pode esperar:

• Ambiente profissional com projetos digitais desafiadores nacionais e internacionais para clientes conhecidos e campeões ocultos.
• Uma equipe apaixonada com atitude positiva que o recebe de braços abertos.
• Um ambiente de trabalho moderno com fator de bem-estar.
• Oportunidades de desenvolvimento que se adequam a você.
• Horários de trabalho flexíveis, benefícios atraentes e, claro, muita diversão.