Num relance
- Tarefas: Desenvolver pipelines de dados na AWS e GCP para suportar análises e decisões científicas.
- Empresa: Empresa inovadora especializada em engenharia de dados para a indústria farmacêutica.
- Benefícios: Salário competitivo, benefícios de saúde e oportunidades de desenvolvimento profissional.
- Outras informações: Ambiente dinâmico com oportunidades de crescimento na carreira.
- Porquê este emprego: Trabalhe em projetos que impactam a saúde global com tecnologia de ponta.
- Qualificações: Experiência em engenharia de dados e conhecimento em AWS e GCP.
O salário previsto situa-se entre 60750 - 74250 € por ano.
A nossa experiência nearshore distingue-nos. Especializamo-nos em conectar profissionais de tecnologia experientes com ambientes de engenharia internacional complexos, apoiando organizações na construção de plataformas de dados escaláveis, fiáveis e de alto desempenho.
Estamos à procura de um Engenheiro de Dados Sénior para se juntar a um projeto de Engenharia de Dados em Ciências da Vida, apoiando uma organização farmacêutica especializada em pesquisa, desenvolvimento e fabricação de terapias inovadoras. O projeto foca na evolução de uma plataforma de dados em nuvem empresarial, integrando conjuntos de dados de pesquisa, laboratório, fabricação e operações para apoiar análises, qualidade de dados e tomada de decisões científicas.
Competências:
- AWS: S3, Glue, EMR e Step Functions para ingestão, processamento e orquestração;
- GCP: Big Query, Cloud Storage, Dataflow e Cloud Composer para analítica/DWH;
- Python, SQL e Py Spark para transformações de dados e processamento distribuído;
- Pipelines ETL para integração e processamento de dados empresariais;
- Arquiteturas de Data Lake e Data Warehouse para armazenamento escalável e consumo analítico;
- Apache Airflow para orquestração de pipelines e gestão de dependências;
- Qualidade de Dados e Governança para validação, linhagem e rastreabilidade;
- Terraform, Git e Git Hub Actions para automação de infraestrutura e implantações controladas;
- Otimização de Performance para cargas de trabalho distribuídas e consultas analíticas.
Responsabilidades:
- Desenvolver pipelines de ingestão e processamento baseados em AWS, utilizando S3 para organizar conjuntos de dados de origem, Glue para extração e transformação, e EMR para processamento em larga escala com Py Spark;
- Implementar pipelines de dados analíticos GCP, utilizando Cloud Storage para staging, Dataflow para fluxos de trabalho de transformação, e Big Query para conjuntos de dados analíticos curados e consumo de relatórios;
- Construir transformações em Python, SQL e Py Spark para padronizar, limpar, validar e combinar dados de sistemas de pesquisa, laboratório, fabricação e empresariais;
- Projetar e manter fluxos de trabalho ETL conectando camadas de processamento de dados e analíticas, gerindo evolução de esquema, cargas incrementais, dependências de dados e eficiência de processamento;
- Configurar AWS Step Functions e Cloud Composer / Apache Airflow para coordenar execução de pipelines, agendamento, monitorização, tentativas e mecanismos de recuperação;
- Otimizar trabalhos de processamento Spark e cargas de trabalho Big Query, melhorando estratégias de particionamento, execução de consultas, eficiência de armazenamento e custos de processamento em nuvem;
- Implementar verificações de qualidade de dados e regras de validação utilizando AWS Glue Data Quality, Py Spark e SQL, aproveitando o Google Cloud Dataplex para monitorização da qualidade de dados, gestão de metadados e linhagem;
- Automatizar implantações de infraestrutura em nuvem e pipelines de dados através de Terraform e Git Hub Actions;
- Colaborar com Arquitetos de Dados, Engenheiros de Análise e equipas do domínio farmacêutico para entregar modelos de dados reutilizáveis, estruturas de transformação fiáveis e produtos de dados escaláveis.
Empregador para Senior Data Engineer | Aws & Gcp: Reach IT
A Reach IT é um excelente empregador, oferecendo um ambiente de trabalho dinâmico e colaborativo em Lisboa, onde a inovação e a excelência técnica são valorizadas. Com oportunidades de crescimento profissional e desenvolvimento contínuo, os colaboradores têm acesso a projetos desafiadores no setor bancário e de gestão de património, além de benefícios competitivos que promovem um equilíbrio saudável entre vida profissional e pessoal.
