Engenheiro de Dados Sr.

Responsabilidades e Atribuições >>

• Desenvolver, manter e evoluir pipelines de dados para ingestão, transformação e disponibilização de informações; 

• Integrar dados de diferentes fontes, estruturadas e não estruturadas, garantindo confiabilidade e rastreabilidade; 

• Atuar no processamento de grandes volumes de dados utilizando tecnologias como Databricks, Spark e SQL; 

• Modelar e estruturar dados para consumo analítico, apoiando iniciativas de BI, Analytics e produtos de dados; 

• Monitorar e otimizar desempenho, escalabilidade e custo das rotinas e ambientes de dados; 

• Garantir boas práticas de versionamento, padronização, documentação e manutenção de código; 

• Apoiar a definição e evolução da arquitetura de dados, considerando segurança, governança e qualidade; 

• Trabalhar em conjunto com times técnicos e áreas de negócio para entender necessidades e traduzir demandas em soluções de dados; 

• Identificar falhas, propor melhorias e atuar na sustentação dos processos de engenharia de dados; 

• Contribuir para a evolução contínua da plataforma de dados e das práticas do time. 

Requisitos e qualificações >>

• Experiência com programação em Python para desenvolvimento de rotinas, transformação de dados e automações; 

• Experiência com SQL para consulta, transformação e manipulação de dados; 

• Conhecimento prático em Databricks para desenvolvimento de pipelines, notebooks e processamento distribuído; 

• Conhecimento em ambientes de dados em nuvem, especialmente AWS e/ou Azure; 

• Experiência com processos de ETL/ELT, ingestão, transformação e disponibilização de dados; 

• Conhecimento em bancos de dados relacionais e não relacionais; 

• Conhecimento em modelagem de dados relacional e dimensional; 

• Conhecimento em arquitetura de dados, incluindo data lakes, data warehouses e camadas analíticas; 

• Conhecimento em versionamento de código com Git; 

• Conhecimento em boas práticas de segurança, governança e qualidade de dados; 

• Capacidade analítica e habilidade para investigação e resolução de problemas; 

• Boa comunicação para interação com times técnicos e áreas de negócio. 

Diferenciais >>

• Experiência com pySpark; 

• Experiência com paralelismo; 

• Conhecimento em DataOps e boas práticas de observabilidade de pipelines; 

• Experiência com integração de APIs e diferentes fontes de dados; 

• Vivência com ambientes corporativos de dados e atendimento a múltiplos stakeholders. 

Se interessou?