Databricks Data Engineer

Sobre a YellowIpe

Temos a missão de inspirar a conexão da tecnologia com as pessoas, fomentamos o melhor de nossos profissionais através de nossa expertise em encontrar e atrair os melhores talentos para os melhores projetos. O Foco nas Pessoas, Colaboração e Comprometimento são os pilares que nos guiam nessa trajetória.

Junte-se à equipa amarela como nosso novo Databricks Data Engineer!

Responsabilidades:

- Colaborar com a equipa de Data & Analytics de uma instituição financeira prestigiada em Lisboa, suportando a migração das capacidades de engenharia de dados da Azure Synapse para a plataforma Databricks.

- Executar tarefas de engenharia de dados, focando na adoção e implementação eficaz do Databricks, utilizando a arquitetura Data Vault estabelecida que classifica os dados em camadas de bronze (dados brutos), prata (dados estruturados e processados que compõem a camada de data lake) e ouro (camada orientada ao negócio e pronta para consumo).

- Construir, otimizar e manter pipelines de transformação de dados, garantindo a eficiência e escalabilidade na movimentação de dados entre as várias camadas.

- Implementar práticas robustas de governança de dados durante o processo de engenharia, assegurando a criação de um catálogo de dados abrangente e a rastreabilidade dos dados (data lineage), integrando essas funcionalidades na nova arquitetura.

- Trabalhar em estreita colaboração com a equipa interna, proporcionando suporte técnico e compartilhando conhecimento para reforçar as capacidades de engenharia da equipa.

- Realizar testes rigorosos e garantir a qualidade dos dados durante todo o processo de migração, abordando e resolvendo problemas de performance de forma proativa.

- Contribuir para a documentação técnica e manual de melhores práticas, garantindo que todo o conhecimento adquirido durante o projeto esteja acessível para a equipa.

Requisitos:

- Experiência prática comprovada com Databricks, não sendo suficiente experiência genérica em Spark ou engenharia de dados na nuvem (obrigatório).

- Sólidos conhecimentos em Engenharia de Dados, com historial demonstrado na construção e otimização de pipelines em arquiteturas de dados em camadas (obrigatório).

- Experiência prévia em práticas de governança de dados, incluindo implementação e gestão de catálogos de dados e rastreabilidade de dados (obrigatório).

- Familiaridade com modelagem Data Vault será considerada uma vantagem significativa.

- Entre 4 a 5 anos de experiência relevante em Engenharia de Dados, preferencialmente em ambientes financeiros ou similares.

- Fluência em inglês é essencial; conhecimento de português será um diferencial valorizado.

- Disponibilidade para um regime híbrido de trabalho, com pelo menos 2 dias por semana requerendo presença física no escritório.

- Localização: Lisboa, Portugal.

Diferenciais:

- Experiência com as capacidades de Inteligência Artificial e Machine Learning do Databricks será considerada uma vantagem, embora não constitua um requisito essencial.

- Habilidade em trabalhar em equipas multifuncionais e em ambientes ágeis, adaptando-se rapidamente a novas tecnologias e desafios.

- Certificações em Databricks, Azure ou outras plataformas relevantes são um plus.

Informações importantes:

Tipo de contrato: full-time

Localização: Lisboa, Portugal

Modalidade: Híbrido – pelo menos 2 vezes por semana no escritório

Idioma(s) necessário(s): Inglês obrigatório; Português será considerado um diferencial

Nível: Não especificado

Candidatura: Ver a vaga e candidatar-me na YellowIpe

Poderá encontrar o anúncio original publicado em: https://www.itjobs.pt/oferta/516757/databricks-data-engineer