Engenheiro(a) de Dados Sênior | FinOps | Databricks | Cloud Cost

Buscamos uma pessoa Engenheira de Dados Sênior para atuar em uma Squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem.

A pessoa terá papel importante na construção e evolução de pipelines de dados de billing e telemetria, transformando grandes volumes de informações em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas.

O desafio envolve trabalhar com dados de diferentes provedores de nuvem, estruturar modelos de custos, estabelecer critérios de alocação e rateio e garantir qualidade, governança e desempenho em uma plataforma de dados baseada em Databricks.

Responsabilidades e Atribuições: 

• Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação, consolidação e disponibilização de dados de billing e telemetria.
• Construir e evoluir arquiteturas Lakehouse utilizando as camadas Bronze, Silver e Gold.
• Modelar dados dimensionais para análises de custos, consumo, orçamento, tendências e otimização de recursos em nuvem.
• Integrar e tratar dados provenientes de serviços de billing, como AWS Cost and Usage Report (CUR), Azure Cost Management e Google Cloud Billing.
• Desenvolver regras de normalização de tags, hierarquias de contas e projetos, alocação de custos compartilhados e rateios.
• Implementar lógicas de amortização e distribuição de custos relacionados a Reserved Instances e Savings Plans.
• Construir e otimizar transformações utilizando Python, PySpark, Spark SQL e Delta Lake.
• Desenvolver consultas, tabelas e estruturas analíticas para consumo por Databricks SQL e dashboards em Lakeview.
• Implementar mecanismos de qualidade, reconciliação, testes e validação dos dados.
• Garantir governança, rastreabilidade e linhagem dos dados, considerando recursos como Unity Catalog.
• Participar da evolução dos processos de orquestração, versionamento, testes e CI/CD dos pipelines.
• Identificar gargalos de processamento e implementar melhorias de desempenho e custo em ambientes de alto volume.
• Trabalhar em conjunto com áreas técnicas, financeiras e de FinOps para transformar necessidades de negócio em soluções de dados confiáveis.

• Experiência sólida em Engenharia de Dados em nível sênior.
• Domínio de Python, PySpark, Apache Spark e SQL avançado.
• Experiência com Databricks e arquitetura Lakehouse.
• Conhecimento prático da arquitetura Medallion: Bronze, Silver e Gold.
• Experiência com Delta Lake e otimização de tabelas e consultas, incluindo particionamento, Z-Order e/ou Liquid Clustering.
• Experiência com construção e manutenção de pipelines de dados de grande volume.
• Experiência com modelagem dimensional, especialmente conceitos de Kimball.
• Capacidade de estruturar modelos analíticos consistentes para relatórios e tomada de decisão.
• Conhecimento de estratégias de transformação, consolidação e disponibilização de dados.
• Experiência com dados de billing de pelo menos um dos provedores: AWS, Azure ou GCP.
• Conhecimento de estruturas de custos e consumo de serviços de nuvem.
• Familiaridade com conceitos de precificação, incluindo On-Demand, Reserved Instances, Savings Plans, Spot, transferência de dados (egress) e camadas de armazenamento.
• Capacidade de implementar regras de tratamento, reconciliação, classificação e alocação de custos.
• Experiência com ferramentas de orquestração de pipelines, como Databricks Workflows, Lakeflow Pipelines (anteriormente Delta Live Tables/DLT), Airflow ou dbt, ou tecnologias equivalentes.
• Experiência com Git, versionamento e práticas de CI/CD aplicadas à engenharia de dados.
• Conhecimento de testes automatizados, validação de dados e monitoramento de pipelines.
• Familiaridade com práticas de implantação e gerenciamento de artefatos Databricks, como Databricks Asset Bundles, ou soluções equivalentes.

 

Diferenciais

• Conhecimento ou experiência com a especificação FOCUS (FinOps Open Cost and Usage Specification).
• Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados.
• Experiência com dados de billing de múltiplos provedores de nuvem.
• Vivência em ambientes bancários, financeiros ou de alta criticidade operacional.
• Experiência com grandes volumes de dados e requisitos rigorosos de qualidade e rastreabilidade.