Data Engineer
DATAINFO SOLUCOES EM TECNOLOGIA DA INFORMACAO LTDA
Descrição da vaga
Somos uma das 200 maiores empresas de TI do Brasil e possuímos a certificação ISO 9001, CMMI nível 3 e GPTW! Quer fazer parte da nossa equipe? 💙
Chegou sua hora! Se você está em busca de desafios e tem a intenção de crescer: queremos transformar junto com você!
♿ Nossas vagas são abertas à todos, em um compromisso firme com a inclusão de pessoas com deficiência e a valorização da diversidade.
👉 Estamos com uma oportunidade para atuar como Engenheiro de Dados, para atuação presencial em Recife/PE. Ficará responsável por atividades relacionadas a função:
• Projetar e implementar Pipeline de Dados que coletam, armazenam e organizam dados brutos de várias fontes;
• Manter os pipelines de dados para que executem seguindo programações, prazos e qualidade dos dados;
• Identificar gargalos, otimizar o desempenho e garantir que os dados estejam disponíveis quando necessário, capturados de maneira eficiente e segura;
• Integrar diversas fontes de dados em camada analítica disponível para consumo;
• Transformador e limpar os dados antes de disponibilizá-los para uso;
• Projetar a arquitetura de sistemas distribuídos que suportam a coleta, armazenamento e análise de dados.
• Escolher em conjunto com o gestor técnico, tecnologias adequadas e definir padrões para garantir escalabilidade e confiabilidade, para construir soluções eficazes;
• Realizar levantamento e detalhamento das fontes de dados fonte e alvo do pipeline de dados;
Experiências e qualificações:
👉 É requisito ao candidato possuir:
• Curso superior completo na área de atuação.
👉 Conhecimentos necessários:
• Bancos de dados relacionais (IBM DB2/SQL Server);
• Desenvolvimento de processos ETL, para ingestão, transformação e consumo de dados em ambientes big data;
• Ferramentas de processamento de dados distribuídos (Hadoop, Hive, Spark ou de funcionalidade equivalente);
• Ferramentas de Integração de Dados (IBM DataStage, Pentaho ou de funcionalidade equivalente);
• Modelagem de dados Entidade-Relacionamento e Multidimensional;
• Linguagem SQL;
• Linguagem de Programação Python, Scala, Java ou Pyspark;
• Trabalho em times ágeis utilizando Scrum ou Kanban.
