Data Engineer – Azure

Ref. AO5648

Estamos à procura de um Data Engineer - Azure para se juntar à nossa equipa.

Se te consideras uma pessoa flexível e proativa e desejas enfrentar novos desafios profissionais, Estamos ansiosos por fazer parte do teu crescimento e certamente que iremos construir um futuro de sucesso juntos!

Competências técnicas:

- Desenvolvedor Databricks e PySpark no ecossistema Databricks: Proficiência na criação, gestão e otimização de Workspaces e Notebooks do Databricks

- Experiência com o Databricks Unity Catalog para governação de dados, controlo de acesso e gestão de metadados

- Conhecimento dos fluxos de trabalho do Databricks (Jobs, orquestração)

- Computação distribuída (PySpark): Sólida experiência prática na utilização do PySpark (DataFrames, conjuntos de dados e RDDs do Spark) para o processamento de dados em grande escala

- Conhecimento aprofundado da arquitetura do Spark: controladores, executores, trabalhadores, partições, gestão de memória e operações de shuffle

- Capacidade de ajustar e otimizar aplicações do Spark (gestão de assimetria de dados, junções de difusão, estratégias de cache e ajuste de memória)

- Linguagens e Armazenamento de Dados Python: Familiaridade com bibliotecas de análise de dados (por exemplo, Pandas, NumPy) e scripts de automatização da biblioteca padrão. SQL: Competências em SQL de nível avançado (JOINs complexos, funções de janela, CTEs, agregações e ajuste de consultas)

- Experiência com Spark SQL para transformação e análise de dados

- Arquitetura de dados e engenharia de pipelines Pipelines de dados e ETL/ELT: conceção, construção e manutenção de pipelines de dados em lote de grande volume e de streaming em tempo real (Structured Streaming)

- Implementação da arquitetura Medallion (camadas Bronze, Prata e Ouro) utilizando o Delta Lake

- Padrões de carregamento incremental de dados (Captura de Alterações de Dados - CDC, MERGE INTO, Auto Loader)

- Conceitos de armazenamento de dados: Conhecimento de técnicas de modelação de dados (modelação dimensional, esquemas em estrela/floco de neve, Data Vault)

- Infraestrutura na nuvem, CI/CD e DevOps (Desejável / Preferencial) Fornecedores de serviços na nuvem: Experiência prática com o Azure, integração com o Databricks (por exemplo, AWS S3, Azure ADLS Gen2, Snowflake)

- Práticas de DevOps e Engenharia de Software: Controlo de versões utilizando o Git (GitHub, Azure DevOps ou GitLab)

- Experiência com pipelines de CI/CD para a implementação de código do Databricks (utilizando Databricks Asset Bundles, Terraform ou APIs REST)

- Testes automatizados para tarefas do PySpark (pytest) e ferramentas de validação de dados (por exemplo, Great Expectations)

Competências pessoais:

- Boas capacidades de comunicação e relacionamento interpessoal

- Proativo

- Espírito de equipa

Ficaste interessado/a nesta oportunidade?

#J-18808-Ljbffr