Engenheiro De Dados

O Data Engineer participa das atividades do desenvolvimento dos produtos Flywheel Digital Latam, em especial com o processamento de dados, cálculos de KPIs, estruturação de Data Lake e Data Warehouses e apresentação e distribuição de dados, pode-se entendê-lo como um Engenheiro de Dados. As atividades terão o foco em criar pipeline de dados e atividades ligadas ao fluxo de ETL, preparando ambientes para os times de Data Science, Insights e Data Viz. Desafios como processamento de milhões de arquivos de dados, otimização de armazenamento de Petabytes de informações são as atividades comuns para esse profissional;
Principais atividades
Construção de Data Warehouses;Gestão do Data Lake;Criação de processos na Pipelines de ETL;Otimização de processos de cálculos de KPIs, gestão de memória e desempenho dos recursos on Cloud;Otimização do armazenamento de dados;Apoiar na gestão e expansão da infraestrutura dedicada aos clusters para as atividades de Dados.
Esta lista não é exaustiva e poderá haver outras atividades que deverá executar.
Requisitos
Conhecimentos avançados em SQL ou ferramenta similar; (+24 meses de experiência)Conhecimentos intermediário em NOSQL; (+12 meses de experiência)Conhecimento intermediário em Python; (+18 meses de experiência)Conhecimento Intermediário em Pandas ou lib similar (+12 meses de experiência)Conhecimento Intermediário em Great Expectations ou lib similar (+6 meses de experiência)Conhecimento intermediário em Fast API ou lib similar; (+6 meses de experiência)Conhecimento intermediário em PySpark (+6 meses de experiência)Conhecimentos intermediário de ambiente cloud; (+6 meses de experiência)Conhecimento intermediário em Databricks; (+6 meses de experiência)Conhecimento intermediário em Ferrramenta Git ou similar; (+12 meses de experiência)Conhecimentos intermediário em Docker; (+6 meses de experiência)Experiência de trabalho com arquivos no formato Parquet e JSON; (+6 meses experiência)Construção de Testes unitários;Entendimento do conceito SOLID.