Data Engineer SR
Dock
Descrição da vaga
Quem é a Dock?
Há mais de 20 anos, cumprimos a missão de democratizar o acesso a serviços financeiros, tornando experiências financeiras mais simples e acessíveis. Somos um time de pessoas obstinadas, que acreditam na tecnologia e nos serviços como os principais facilitadores para a evolução de nossos clientes e a transformação do papel das finanças. Atuando em 11 localidades pela América Latina, trabalhamos sob o propósito de desmaterializar o universo financeiro para impulsionar a sociedade.
Como é o nosso time de Plataforma de Dados?
Você fará parte de um time focado na construção de pipelines que transformam o nosso data lake em datasets de eventos confiáveis, versionados e sem vazamento temporal. Nossa missão é garantir a fundação de dados para o treinamento, avaliação e serving de modelos de fundação. Sem dado correto no tempo correto, nenhum modelo vale algo, e você será a pessoa responsável por garantir isso.
E o dia a dia, como será?
Buscamos por talentos inigualáveis para nos ajudar a espalhar o poder financeiro! Nesta função, você irá:
-
Implementar Extração Reprodutível: Construir pipelines a partir do Databricks (Unity Catalog, Delta), aplicando contratos de dados, particionamento e amostragem determinística.
-
Construir Históricos Confiáveis: Desenvolver tabelas as-of / point-in-time e snapshots, tratando os dados que só guardam o último valor como risco direto para o treinamento de modelos.
-
Trabalhar com Sequências em Escala: Tokenizar e empacotar dados de sequência (Parquet por faixa de tamanho, batching dinâmico) e estruturar dataloaders eficientes para processamento em GPU.
-
Garantir a Qualidade e Monitoramento: Vigiar a saúde dos dados de sequência (esquemas, drift, nulos, duplicidade e identidade das entidades).
-
Aplicar Privacidade na Prática: Estruturar pseudonimização, controle de acesso e trilhas de auditoria, alinhados rigorosamente à LGPD e aos requisitos de segurança de pagamentos.
-
Construir Serving de Features: Estruturar a camada de inferência (serving) de features e embeddings com baixa latência, mantendo logs de chamadas para reconstruir exatamente o que o modelo avaliou em cada decisão.
O que esperamos de você?
-
5+ anos de sólida experiência em Engenharia de Dados ou de Machine Learning.
-
Domínio de Spark/PySpark, Delta Lake e SQL avançado, com vivência prévia no ecossistema Databricks.
-
Proficiência em Python para produção, incluindo testes e CI voltados a pipelines de dados.
-
Experiência consolidada lidando com dados transacionais sensíveis e entendimento prático aprofundado sobre vazamento temporal (data leakage) e snapshots.
-
Postura rigorosa e questionadora: versionar o dataset junto com o código, escrever contratos de dados antes do pipeline e, principalmente, perguntar primeiro se "esse dado existia na hora da decisão?".
É desejável que você tenha:
-
Conhecimento em MLflow, Feature Store, Ray e fluxos de dados em streaming.
-
Vivência prática com PyTorch DataLoader ou processos de leitura em streaming voltados para treinamento de modelos.
-
Experiência nos domínios de pagamentos, transações Pix, cartões de crédito ou adquirência.
-
Noções de infraestrutura como código (Terraform) e modelagem voltada a serving de baixa latência.
E quais são os benefícios?
-
Auxílio alimentação (mercado & restaurante);
-
Plano de saúde e odontológico;
-
Hospital digital;
-
Suporte psicológico para psicoterapia online;
-
Orientação ergonômica;
-
Wellhub e TotalPass;
-
Auxílio mensal para despesas remote first;
-
Previdência privada após 6 meses de trabalho;
-
Licença parental estendida;
-
Auxílio creche;
-
Auxílio para pais de filhos especiais;
-
Plataforma de idiomas;
-
Disponibilidade de coworking no Brasil inteiro.
