Data Engineer – Azure

Ref. AO5648

Estamos à procura de um Data Engineer - Azure para se juntar à nossa equipa.

Se te consideras uma pessoa flexível e proativa e desejas enfrentar novos desafios profissionais, Estamos ansiosos por fazer parte do teu crescimento e certamente que iremos construir um futuro de sucesso juntos!

Competências técnicas:

Desenvolvedor Databricks e PySpark no ecossistema Databricks: Proficiência na criação, gestão e otimização de Workspaces e Notebooks do Databricks

Experiência com o Databricks Unity Catalog para governação de dados, controlo de acesso e gestão de metadados

Conhecimento dos fluxos de trabalho do Databricks (Jobs, orquestração)

Computação distribuída (PySpark): Sólida experiência prática na utilização do PySpark (DataFrames, conjuntos de dados e RDDs do Spark) para o processamento de dados em grande escala

Conhecimento aprofundado da arquitetura do Spark: controladores, executores, trabalhadores, partições, gestão de memória e operações de shuffle

Capacidade de ajustar e otimizar aplicações do Spark (gestão de assimetria de dados, junções de difusão, estratégias de cache e ajuste de memória)

Linguagens e Armazenamento de Dados Python: Familiaridade com bibliotecas de análise de dados (por exemplo, Pandas, NumPy) e scripts de automatização da biblioteca padrão. SQL: Competências em SQL de nível avançado (JOINs complexos, funções de janela, CTEs, agregações e ajuste de consultas)

Experiência com Spark SQL para transformação e análise de dados

Arquitetura de dados e engenharia de pipelines Pipelines de dados e ETL/ELT: conceção, construção e manutenção de pipelines de dados em lote de grande volume e de streaming em tempo real (Structured Streaming)

Implementação da arquitetura Medallion (camadas Bronze, Prata e Ouro) utilizando o Delta Lake

Padrões de carregamento incremental de dados (Captura de Alterações de Dados - CDC, MERGE INTO, Auto Loader)

Conceitos de armazenamento de dados: Conhecimento de técnicas de modelação de dados (modelação dimensional, esquemas em estrela/floco de neve, Data Vault)

Infraestrutura na nuvem, CI/CD e DevOps (Desejável / Preferencial) Fornecedores de serviços na nuvem: Experiência prática com o Azure, integração com o Databricks (por exemplo, AWS S3, Azure ADLS Gen2, Snowflake)

Práticas de DevOps e Engenharia de Software: Controlo de versões utilizando o Git (GitHub, Azure DevOps ou GitLab)

Experiência com pipelines de CI/CD para a implementação de código do Databricks (utilizando Databricks Asset Bundles, Terraform ou APIs REST)

Testes automatizados para tarefas do PySpark (pytest) e ferramentas de validação de dados (por exemplo, Great Expectations)

Competências pessoais:

Boas capacidades de comunicação e relacionamento interpessoal

Proativo

Espírito de equipa

Ficaste interessado/a nesta oportunidade?

#J-18808-Ljbffr