Engenheiro de Dados

Sobre a vaga Buscamos uma pessoa Engenheira de Dados para construir e sustentar a plataforma de dados no Databricks (AWS), da ingestão à entrega de dados confiáveis para BI, análises e IA. A posição atua em um ambiente de logística com alto volume de dados vindos de ERPs e sistemas operacionais (Senior, SSW, TOTVS, KMM e SAP), APIs de parceiros e arquivos. Os dados abastecem DRE, dashboards em Power BI e Metabase, controles operacionais e casos de IA como o Databricks Genie. Responsabilidades Desenvolver e manter pipelines de ingestão e transformação em batch e streaming no Databricks, com PySpark e Spark SQL. Implementar a arquitetura Medallion (Bronze, Silver e Gold) em Delta Lake. Integrar dados de ERPs, bancos relacionais, APIs REST, arquivos e sistemas legados, incluindo cargas incrementais e reprocessamentos retroativos. Orquestrar e agendar processos com Databricks Workflows (Jobs) e controlar dependências entre eles. Modelar dados analíticos (modelo dimensional, star schema) para DRE, indicadores operacionais e dashboards. Garantir qualidade, confiabilidade e performance: validações de dados, monitoramento, alertas e otimização de custos de cluster e SQLWarehouse. Aplicar governança com Unity Catalog: catálogos, schemas, permissões, linhagem e dados sensíveis (LGPD). Versionar código com Git (Databricks Repos) e participar da esteira de CI/CD de dados. Disponibilizar dados para Power BI, Metabase e casos de IA, como espaços do Databricks Genie. Atuar no troubleshooting de cargas críticas, documentar processos e apoiar a definição de padrões técnicos do time. Requisitos técnicos obrigatórios - Databricks: Experiência em ambientes de produção, incluindo notebooks, Jobs/Workflows, clusters, SQL Warehouse e Repos. - Apache Spark: Proficiência em PySpark e Spark SQL, com conhecimento em particionamento, joins, cache e otimização de performance. - Delta Lake e Lakehouse: Habilidade no gerenciamento de tabelas Delta, operações MERGE/upsert, time travel, além de comandos OPTIMIZE/Z-ORDER e arquitetura Medallion. - Linguagens: Domínio avançado em Python e SQL. - Ingestão de dados: Experiência com extração utilizando CDC (Change Data Capture) de bancos de origem, incluindo ferramentas como Debezium, AWS DMS ou Lakeflow Connect, além de carga full e incremental, Auto Loader, consumo de APIs REST e leitura de arquivos (CSV, JSON, Parquet, XML). - Bancos de dados: Conhecimento em SQL Server, Oracle ou PostgreSQL, incluindo extração via JDBC e manipulação de modelos transacionais. - Modelagem de dados: Experiência em modelagem dimensional (fato, dimensão, star schema) e desenvolvimento de tabelas analíticas para BI utilizando dbt (incluindo models, testes, documentação e linhagem). - Governança de dados: Familiaridade com o Unity Catalog, abrangendo permissões, linhagem, catálogos e schemas, assim como boas práticas relacionadas à LGPD. - Qualidade e observabilidade: Habilidade em validações de dados, controle de execução, gerenciamento de logs, alertas e reprocessamento. - Cloud: Conhecimento prático em AWS, incluindo S3, IAM e noções básicas sobre rede e custos operacionais. - Versionamento e CI/CD: Experiência com Git, pull requests e pipelines (GitHub Actions ou Azure DevOps); conhecimento em Databricks Asset Bundles será considerado um diferencial. Diferenciais - Certificações Databricks: Data Engineer Associate ou Professional. - Experiência com streaming em Spark Structured Streaming, Kafka ou Kinesis e Delta Live Tables (Lakeflow). - Habilidade em infraestrutura como código utilizando Terraform. - Experiência em orquestração com Apache Airflow. - Conhecimento em integração com ERPs e sistemas do mercado logístico, como Senior, SSW, TOTVS, KMM e SAP. - Familiaridade com operações logísticas (coleta, transferência, distribuição, CT-e, ocorrências e comprovantes de entrega) e indicadores financeiros como DRE. - Experiência com ferramentas de BI, como Power BI ou Metabase, incluindo modelagem semântica e otimização de consultas. - Conhecimento em IA e Machine Learning no Databricks: Genie, MLflow, Mosaic AI ou Vector Search. - Experiência em migração de pipelines legados (SSIS, Data Factory, Glue ou procedures) para o Databricks. Competências comportamentais - Senso de propriedade em monitorar as cargas de dados após a publicação e tomar ações corretivas quando necessário. - Autonomia e proatividade em sugerir melhorias em arquitetura, custo e performance. - Capacidade de comunicação clara com áreas de negócio (financeiro, operação, comercial) e com equipes técnicas. - Raciocínio analítico para investigar divergências de dados e identificar causas-raiz. - Colaboração e abertura a feedback, além da disposição para documentar e compartilhar conhecimentos. - Organização para gerenciar múltiplas demandas simultaneamente, especialmente em períodos de pico, como encerramentos de mês e eventos especiais. Formação: Superior completo ou em andamento em Ciência da Computação, Engenharia, Sistemas de Informação, Estatística ou áreas correlatas. Idioma: Leitura de documentação técnica em inglês.