Buscamos un Data Engineer Senior con experiencia sólida en Databricks para diseñar, implementar y optimizar soluciones de datos escalables en entornos cloud. El candidato ideal tendrá un profundo conocimiento en arquitecturas Big Data, procesamiento distribuido, y pipelines ETL, además de habilidades para colaborar con equipos multidisciplinarios en proyectos de analítica avanzada y machine learning.
Responsabilidades principales:
- Diseñar y desarrollar pipelines de datos eficientes y escalables utilizando Databricks, Spark y tecnologías relacionadas.
- Implementar procesos de ingestión, transformación y almacenamiento de datos en entornos cloud (Azure, AWS o GCP).
- Optimizar el rendimiento de clusters Spark y gestionar costos en plataformas Databricks.
- Garantizar la calidad, gobernanza y seguridad de los datos en todas las etapas del ciclo de vida.
- Colaborar con equipos de Data Science y BI para habilitar modelos predictivos y dashboards.
- Automatizar procesos mediante CI/CD y herramientas de orquestación (Airflow, Azure Data Factory, etc.).
- Documentar arquitecturas y flujos de datos, asegurando buenas prácticas y estándares.