Data Engineer Senior Python – Secteur Défense (H/F)

Contexte

Au sein d’un environnement défense à fortes contraintes (sécurité, traçabilité, disponibilité), vous intégrez une équipe data en charge de construire et fiabiliser une plateforme de données et des pipelines industrialisés pour des cas d’usage à fort impact opérationnel.

Vos missions 

• Concevoir et développer des pipelines d’ingestion / transformation robustes (batch et selon besoin, streaming).

• Industrialiser l’orchestration (planification, dépendances, relances, SLA) via un orchestrateur type Airflow.

• Traiter et transformer la donnée à l’échelle via Spark / PySpark (performance, partitionnement, optimisation).

• Structurer les couches de transformation et la qualité des données avec une approche “data products” (tests, documentation, règles de qualité), potentiellement via dbt si pertinent.

• Mettre en place l’observabilité : logs, métriques, alerting, dashboards, suivi de qualité et traçabilité.

• Contribuer aux choix d’architecture (formats, stockage, modèles, conventions, outillage), en gardant en tête les contraintes sécurité / conformité.

• Travailler en transverse avec les équipes logiciel, infra et cyber (revues, durcissement, bonnes pratiques).

Environnement technique

On s’aligne sur des briques éprouvées data engineering modernes; le mix exact dépendra de l’archi projet, mais l’ADN reste : Python / industrialisation / data platform.

• Langages : Python (expert), SQL

• Orchestration : Apache Airflow (DAGs, scheduling, monitoring)

• Processing : Apache Spark / PySpark (batch + éventuel streaming)

• Transformation : dbt (optionnel mais très apprécié)

• Data stack : formats colonne (Parquet), lake/lakehouse (selon contexte), API / fichiers / bases

• Ops : Git, CI/CD, Docker (Kubernetes apprécié), tests (pytest), qualité (Great Expectations apprécié)

• Monitoring : Grafana/Prometheus/ELK