En tant que Data Engineer expérimenté(e), Vous serez responsable de :
- Concevoir, développer et maintenir des pipelines de données ETL/ELT robustes et évolutifs en utilisant Databricks, Python et SQL
- Intégrer des données provenant de sources multiples (bases de données, fichiers, APIs, etc.)
- Transformer et nettoyer les données pour garantir leur qualité et leur cohérence
- Automatiser les tâches de traitement de données pour une exécution efficace et fiable
- Mettre en place des processus de surveillance et d'alerte pour garantir la disponibilité et la santé des pipelines
- Collaborer avec les analystes de données et les scientifiques de données pour comprendre leurs besoins en matière de données et leur fournir des données de haute qualité
- Documenter les pipelines de données et les processus de manière claire et concise
- Rester à jour sur les dernières technologies et tendances en matière de Big Data et d'analyse de données