Start Your Search Here

Job Search

Shore

Porto / Global

Python Data Engineer (Hibrido, Porto)

Job Description

Principais Responsabilidades: Projetar, desenvolver, testar e implementar pipelines ETL/ELT usando Python e PySpark. Otimizar o armazenamento de dados e o desempenho de consultas em data lakes, data warehouses e formatos lakehouse, como Delta Lake ou Iceberg. Aplicar as melhores práticas de engenharia de software, incluindo código de fácil manutenção, revisões, CI/CD e testes unitários. Implementar monitoramento, registro de logs e alertas, além de solucionar falhas em pipelines. Colaborar com cientistas de dados, analistas e stakeholders do produto para otimizar workloads do Spark em termos de desempenho e custo. Requisitos Mínimos: Conhecimento avançado de Python, incluindo programação orientada a objetos, pandas e frameworks de teste. Sólida experiência prática com Apache Spark/PySpark. Conhecimento avançado de SQL e bancos de dados relacionais, como PostgreSQL ou MySQL. Experiência com data warehouses como Snowflake, BigQuery ou Redshift. Experiência com pelo menos uma plataforma de nuvem principal: AWS, GCP ou Azure. Orquestração de workflow usando Airflow, Prefect ou Dagster. Excelente domínio do inglês escrito e falado.

Candidatar-se Now

Similar Opportunities

View all jobs