Engenheiro de Dados PL
Lima Consulting Group
Descrição da vaga
Desafio:
Atuação como Data Engineer com foco em Analytics Engineering, responsável por estruturar, transformar e disponibilizar dados de forma escalável, confiável e governada, apoiando a construção de produtos de dados, métricas corporativas, indicadores de negócio e jornadas analíticas. O profissional atuará na conexão entre engenharia de dados e analytics, traduzindo necessidades de negócio em soluções analíticas sustentáveis, apoiando a evolução do ecossistema de dados em Databricks e contribuindo para a democratização e consumo eficiente dos dados pelos usuários da organização.
Responsabilidades:
- Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados em ambientes cloud
- Estruturar e evoluir soluções de Data Lakehouse seguindo a arquitetura Medallion (Bronze, Silver e Gold)
- Construir modelos de dados analíticos voltados para consumo por dashboards, indicadores e produtos de dados
- Traduzir requisitos de negócio em soluções analíticas escaláveis e reutilizáveis
- Atuar na padronização, documentação e governança de ativos de dados
- Garantir qualidade, rastreabilidade, observabilidade e confiabilidade dos pipelines
- Desenvolver soluções utilizando Databricks, Azure e ferramentas homologadas pela organização
- Apoiar a definição e cálculo de métricas de negócio, KPIs e indicadores estratégicos
- Trabalhar em parceria com business analytics, cientistas de dados e áreas de negócio para identificação de oportunidades analíticas
- Automatizar processos de integração, transformação e disponibilização de dados
- Implementar práticas de DataOps, versionamento e integração contínua utilizando GitHub
- Participar das cerimônias ágeis e contribuir com estimativas, refinamentos e planejamento das entregas
- Contribuir para a evolução da plataforma de dados, identificando oportunidades de melhoria, performance e redução de custos
Requisitos:
- Experiência sólida em Engenharia de Dados e Analytics Engineering.
- Domínio de Databricks, incluindo Workflows, Notebooks, Delta Lake e Unity Catalog.
- Conhecimento avançado em SQL para transformação e modelagem de dados.
- Experiência com Python, Spark/PySpark para pipelines, processamento e automações.
- Experiência com Azure Data Platform e arquiteturas modernas de dados.
- Experiência no desenvolvimento de pipelines ETL/ELT e práticas de DataOps/CI/CD.
- Domínio de modelagem dimensional e analítica e construção de datasets para consumo analítico.
- Experiência com arquitetura Lakehouse e metodologia Medallion (Bronze, Silver e Gold).
- Conhecimento em governança, qualidade, linhagem e observabilidade de dados.
- Experiência com Git/GitHub, metodologias ágeis e boas práticas de versionamento.
- Perfil analítico, autônomo, colaborativo e orientado a resultados, com capacidade de traduzir necessidades de negócio em soluções de dados e atuar na melhoria contínua.
- Disponibilidade para atuar de forma híbrida 1x na semana em Osasco.
Diferenciais:
- Experiência como Analytics Engineer
- Conhecimento em Power BI
- Experiência com produtos de dados e métricas corporativas
- Conhecimento em Machine Learning e IA aplicada a Analytics
- Experiência em ambientes financeiros e canais digitais
- Certificações Azure ou Databricks
- Conhecimento em observabilidade, monitoramento e FinOps para ambientes de dados
