GCP Data Engineer

Participar na migração de dados e processos ETL de SQL Server para GCP.

Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.

Orquestrar e agendar pipelines através do Google Cloud Composer.

Desenvolver e otimizar queries SQL complexas em BigQuery.

Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering.

Desenvolver scripts em Python para automatização de migrações, transformações e integrações.

Implementar mecanismos que garantam a qualidade e integridade dos dados.

Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração.

Participar em revisões de código, testes e definição de boas práticas de desenvolvimento.

Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados.

Propor melhorias e otimizações para a plataforma de dados em GCP.

3+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.

Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery.

Conhecimentos avançados de Python para automatização, transformação e migração de dados.

Experiência em pipelines de dados e processos de migração para ambientes cloud.

Capacidade de análise e resolução de problemas complexos.

Bons conhecimentos de inglês, com nível mínimo B2.

Autonomia, rigor, organização, espírito de equipa e capacidade de adaptação.

Competências valorizadas:

Experiência com SQL Server, T-SQL e administração de bases de dados.

Conhecimentos de outros serviços GCP, como Cloud Storage e Dataflow.

Experiência com ferramentas de migração da GCP, como Database Migration Service.

Conhecimentos de Power BI, Data Warehousing e Data Vault.

Experiência com ferramentas de controlo de versões.

#J-18808-Ljbffr