Big Data Developer | Spark & Scala in Lisbon

Estamos à procura de um Engenheiro de Big Data Sénior experiente para se juntar a uma equipa responsável pelo desenvolvimento e evolução de soluções de dados em larga escala numa plataforma empresarial Cloudera Hadoop. Você trabalhará principalmente com Apache Spark e Scala, projetando novas funcionalidades, otimizando cargas de trabalho de processamento de dados distribuídos e melhorando a escalabilidade e a manutenibilidade das soluções existentes.

Além do desenvolvimento, você contribuirá para melhorias de arquitetura, testes automatizados, CI/CD, implantações, segurança e melhoria contínua dentro de um ambiente colaborativo Agile.

Como Engenheiro de Big Data Sénior, você irá:

• Desenvolver e evoluir aplicações de Big Data de alto desempenho.
• Construir e otimizar soluções de processamento distribuído usando Spark e Scala.
• Melhorar a arquitetura através da racionalização e reutilização de componentes.
• Otimizar cargas de trabalho do Spark para escalabilidade, confiabilidade e desempenho.
• Trabalhar em todo o ecossistema Hadoop, incluindo HDFS, Hive, Kafka e YARN.
• Contribuir para atividades de CI/CD, implantação e prontidão para produção.
• Promover a qualidade do código através de revisões, testes e melhores práticas de engenharia.
• Projetar, desenvolver e manter aplicações de Big Data usando Spark 3 e Scala 2.12.
• Desenvolver novas funcionalidades de acordo com requisitos técnicos e de negócios.
• Construir componentes de processamento de dados reutilizáveis e escaláveis.
• Garantir que as soluções permaneçam manuteníveis, consistentes e orientadas ao desempenho.
• Resolver problemas complexos de processamento de dados.
• Contribuir para a evolução contínua das aplicações existentes.

Desempenho e Otimização do Spark

• Projetar e otimizar aplicações distribuídas do Spark.
• Analisar e melhorar planos de execução, joins e estratégias de caching.
• Identificar gargalos de processamento e implementar otimizações sustentáveis.
• Garantir que as aplicações utilizem eficientemente a infraestrutura Hadoop subjacente.
• Equilibrar melhorias de desempenho com manutenibilidade e estabilidade operacional.
• Desenvolver aplicações robustas e manuteníveis usando Scala.
• Aplicar princípios apropriados de programação funcional.
• Promover práticas de codificação limpa, testabilidade e reutilização de componentes.
• Participar de design técnico e revisões de código.
• Usar frameworks como ZIO ou Cats quando relevante.

Hadoop e Plataforma de Dados

• Desenvolver e suportar soluções em um ecossistema Cloudera Hadoop on-premises.
• Trabalhar com tecnologias incluindo: HDFS, YARN, Hive, HBase, Kafka.
• Compreender interações entre aplicações de processamento de dados e componentes da plataforma.
• Resolver problemas de aplicação e fluxo de dados em todo o ecossistema Hadoop.

Kafka e Integração de Dados

• Trabalhar com Apache Kafka para troca de dados distribuídos e casos de uso de streaming.
• Suportar integrações entre aplicações e fontes de dados.
• Resolver problemas de processamento e conectividade relacionados ao Kafka.
• Contribuir para fluxos de dados confiáveis e escaláveis.

Segurança

• Trabalhar em ambientes de Big Data seguros.
• Aplicar e solucionar mecanismos de segurança, garantindo que as soluções cumpram os requisitos de acesso e segurança da plataforma.
• Colaborar com equipes de infraestrutura ao investigar problemas de autorização e autenticação.

CI/CD e DevOps

• Desenvolver e manter pipelines de CI/CD para aplicações de Big Data.
• Suportar atividades de construção, teste, empacotamento e implantação automatizadas.
• Participar de implantações em ambientes de teste e produção.
• Trabalhar com Jenkins, XL Deploy, XL Release, Bitbucket.
• Melhorar a confiabilidade da entrega e reduzir atividades de implantação manual.
• Gerenciar atualizações de componentes e atividades de validação associadas.

Agendamento e Operações

• Agendar e monitorar cargas de trabalho de processamento de dados usando Control-M.
• Suportar dependências entre trabalhos agendados e fluxos de trabalho de processamento de dados.
• Investigar execuções falhadas e problemas operacionais.
• Contribuir para a operação estável da aplicação em ambientes de produção.

Qualidade do Código e Melhoria Contínua

• Participar ativamente de revisões de código entre pares.
• Promover padrões de codificação e melhores práticas de desenvolvimento.
• Melhorar componentes existentes através da racionalização, refatoração e reutilização.
• Reduzir duplicação desnecessária e dívida técnica.
• Contribuir para retrospectivas e iniciativas de melhoria contínua.
• Suportar atualizações técnicas enquanto mantém a estabilidade da solução.
• Trabalhar dentro de um ambiente Scrum.

O que estamos procurando

• Experiência profissional sólida em Engenharia de Big Data.
• Conhecimento avançado de Apache Spark 3.
• Experiência comprovada na otimização de aplicações Spark.
• Experiência de desenvolvimento forte com Scala 2.
• Conhecimento avançado do ecossistema Hadoop, particularmente: YARN, HDFS, Hive, Kafka.
• Experiência em desenvolver componentes de software manuteníveis e reutilizáveis.
• Forte compreensão das melhores práticas de codificação.
• Conhecimento de conceitos de segurança em Big Data.
• Experiência em implementar ou trabalhar com pipelines de CI/CD.
• Confortável desenvolvendo e solucionando problemas de aplicações distribuídas complexas.
• Experiência trabalhando em equipes Agile/Scrum.
• Inglês B2 mínimo, preferencialmente C1.

Desejável

• Experiência com ZIO ou Cats.
• Forte conhecimento de Programação Funcional em Scala.
• Experiência modernizando grandes aplicações de Big Data.
• Conhecimento de análise de desempenho do Spark em ambientes de alto volume.
• Experiência suportando pipelines de dados críticos em produção.
• Conhecimento de testes automatizados para aplicações Scala/Spark.
• Experiência com administração da plataforma Cloudera ou solução de problemas de desempenho.
• Familiaridade com ferramentas de desenvolvimento assistidas por IA.

A função requer interação regular com partes interessadas de diferentes níveis de especialização técnica, portanto, a capacidade de explicar tópicos complexos de forma clara é importante. Capacidade analítica e de resolução de problemas forte. Capacidade de entender ambientes técnicos complexos. Confortável estimando e planejando atividades de desenvolvimento. Forte comunicação com partes interessadas técnicas e não técnicas. Mentalidade proativa e colaborativa. Forte atenção à qualidade do código e manutenibilidade. Capacidade de assumir a responsabilidade por tópicos tecnicamente complexos. Trabalhar com Spark e Scala em soluções de dados empresariais em larga escala. Obter exposição profunda a um ecossistema completo Cloudera/Hadoop. Resolver desafios complexos de processamento distribuído e desempenho. Trabalhar com pipelines de dados de alto volume e integrações Kafka. Influenciar a arquitetura da aplicação através da reutilização e modernização de componentes. Combinar engenharia de Big Data com DevOps, segurança e entrega de produção. Junte-se a uma equipe onde a qualidade do código, a colaboração técnica e a melhoria contínua são fortemente valorizadas.