A Diretoria de Data Platform & MLOps da Serasa Experian é responsável por construir e evoluir a plataforma que sustenta produtos e soluções de dados em larga escala, oferecendo infraestrutura moderna, segura e altamente confiável.
Trabalhamos com arquitetura de Lakehouse, apoiada em Databricks + AWS, operando em um modelo Data Mesh que habilita autonomia e governança distribuída para produtos de dados.
Estamos em busca de um(a) Especialista em Engenharia de Dados com forte atuação como Tech Lead e Arquiteto(a), capaz de liderar tecnicamente a evolução do nosso Lakehouse, disseminar práticas de engenharia e apoiar diversas unidades de negócio na construção de produtos de dados escaláveis e resilientes.
Responsabilidades
Arquitetura e Evolução da Plataforma
- Definir e evoluir a arquitetura corporativa de Lakehouse, garantindo escalabilidade, segurança, governança e alta performance.
- Atuar na criação de padrões, modelos e boas práticas para Data Mesh, suportando domínios na construção de produtos de dados.
- Promover escolhas técnicas sólidas envolvendo Databricks, Delta Lake, Spark, AWS e ecossistemas de dados modernos.
- Definir referências arquiteturais para pipelines batch e streaming, incluindo melhores práticas de orquestração, versionamento, monitoração, resiliência e otimização.
Liderança Técnica
- Guiar e orientar engenheiros de dados, influenciando decisões críticas e elevando o nível técnico da organização.
- Conduzir revisões técnicas (arquitetura, código, padrões, design de pipelines).
- Atuar como consultor(a) interno(a) para unidades de negócio, garantindo o melhor entendimento das soluções e promovendo consistência tecnológica entre equipes.
Construção e Sustentação
- Projetar e desenvolver pipelines robustos e escaláveis em Python, Scala, SQL ou Java dentro do ecossistema Databricks e/ou AWS.
- Construir soluções de ingestão em tempo real usando Spark Structured Streaming, Delta Live Tables, Kafka/Kinesis ou ferramentas similares.
- Garantir observabilidade (monitoramento, alertas e métricas) e qualidade dos dados em todas as etapas da cadeia.
- Atuar com ferramentas de governança e segurança, como AWS Lake Formation, Unity Catalog e padrões corporativos de IAM.
Interação Multidisciplinar
- Interagir com unidades de negócio, parceiros, fornecedores e terceiros, garantindo alinhamento técnico, clareza arquitetural e execução assertiva.
- Facilitar processos de discovery, design e suporte na implementação de produtos de dados dentro da estratégia de Data Mesh.
- Traduzir necessidades de negócio em soluções técnicas escaláveis e sustentáveis.
Evangelização e Disseminação
- Disseminar conhecimento sobre Lakehouse, Data Mesh, pipelines batch e streaming.
- Conduzir workshops, guias de referência, mentoria e comunidades técnicas internas.
- Promover cultura de dados moderna e boas práticas de engenharia em toda a organização.