Engenheiro de Dados PL/SR (Consultoria)

Principais Responsabilidades:

• Atuar como consultor em projetos estratégicos de negócios voltados para engenharia de dados utilizando plataforma Databricks;
• Identificar e implementar melhores práticas para cargas de grande volume de dados, garantindo performance e disponibilidade das informações;
• Trabalhar com otimização de queries e modelagem de dados para melhorar a eficiência em consultas analíticas;
• Desenvolver e manter pipelines de dados (ETL/ELT) para integração de diversas fontes, garantindo qualidade e governança;
• Desenhar e implementar arquiteturas de Data Lakehouse, aplicando o conceito Medalhão (Bronze, Silver, Gold);
• Apoiar a modelagem de dados para Data Warehouses modernos (Star-Schema, Snowflake);
• Explorar boas práticas em ambientes de Big Data, especialmente no contexto Databricks e Delta Lake;
• Uso de formatos abertos como Delta Lake, Iceberg, Parquet e Avro para construção e governança de arquiteturas Lakehouse modernas;
• Garantir a governança de dados, incluindo controle de acessos e versionamento.

Buscamos alguém com:

• Experiência sólida em Databricks e arquitetura Delta Lakehouse;
• Forte conhecimento em SQL e otimização de queries para processamento distribuído;
• Experiência com ETL/ELT e arquitetura de dados escalável;
• Conhecimento de pipelines de dados incrementais (UPSERTS, MERGE, CDC);
• Experiência em modelagem de dados analítica (Star-Schema, Snowflake);
• Experiência com cargas em Databricks, incluindo refatoração de pipelines e tuning de performance;

Diferenciais:

• Familiaridade com Unity Catalog para governança e controle de acesso em Databricks;
• Conhecimento em Data Warehouses modernos (Databricks, Snowflake, BigQuery, Redshift);
• Vivência em arquiteturas na AWS, com domínio de serviços como S3, IAM, Glue e EMR;
• Experiência em provisionar e configurar clusters Databricks do zero, incluindo aspectos de infraestrutura, rede, permissões e integração com catálogos de dados.