Engenheiro(a) de Dados

Principais responsabilidades · Gerenciar uma infra-estrutura otimizada de pipeline de dados para armazenar, recuperar, transformar grandes volumes e variedade de dados em formato relacional e não-relacional · Monitorar e manter os níveis de serviço e performance da infra-estrutura de dados para atender às aplicações em produção · Implementar melhorias nos processos internos · Implementar e utilizar ferramentas analytics para monitorar indicadores de negócio e de saúde do processo · Apoiar o time de cientistas de dados em relação às necessidades técnicas de infra-estrutura e à integração ao pipeline dos métodos criados Gerenciar infra-estrutura de micro-serviços que acessam dados consolidados e disponibilizam para aplicações da empresa Requisitos: É muito importante você conhecer... · Infra-estrutura na nuvem (utilizamos Google Cloud) · Bancos relacionais e não-relacionais · Agendamento, automação e monitoramento de tarefas · Recuperação, transformação e armazenamento de grande quantidade dados · Criação e gestão de micro-serviços Seria ainda mais incrível se você tiver... · Experiência com ferramentas para processamento de grandes volumes de dados e computação distribuída como Apache Hadoop/Spark ou equivalentes · Experiência em implementação de soluções de busca com tecnologias como SOLR, Elasticsearch ou Lucene · Conhecimento em ferramentas de orquestração e automação de workflows como Apache Airflow ou equivalentes