Job Requisition ID #
26WD96327, Principal Machine Learning Engineer, Evaluation
French translation to follow!/Traduction française à suivre!
Position Overview
The work we do at Autodesk touches nearly every person on the planet. By creating software tools for making buildings, machines, and even the latest movies, we influence and empower some of the most creative people in the world.
As a Principal Machine Learning Engineer focused on evaluating ML models for CAD and BIM, you will ensure ML-powered experiences meet high standards for quality, reliability, and customer impact across Autodesk products. You will work hands-on with ML-enabled Autodesk software to design evaluation datasets, metrics, and protocols that reflect real user workflows. You will use those signals to guide release readiness and continuous improvement in production. You will communicate results through clear evaluation summaries and recommendations, partnering with researchers, engineers, and product teams to close the gap between offline performance and real customer outcomes.
You will report to a manager in the Model Delivery team within Autodesk Research. This role is based in proximity to our North American Autodesk offices, with a preference for Toronto or Vancouver. We support both in-person, hybrid, and remote work.
Responsibilities
Design and run evaluation protocols (datasets, metrics, statistical analysis) that reflect real CAD/BIM user workflows and production conditions
Build repeatable evaluation tooling and automation to support model development, regression testing, and release readiness decisions
Curate, process, and analyze data from multiple sources (including production derived samples) to assess model behavior and customer outcomes
Validate end-to-end ML powered product experiences and translate product requirements into measurable evaluation criteria
Communicate findings and recommendations clearly to researchers, engineers, product teams, and leadership
Document model quality issues discovered in production or during validation (accuracy, robustness, latency, failure modes) and help prioritize follow-up investigations
Minimum Qualifications
BS or MS in Mechanical Engineering, Architecture, Computer Engineering, Computer Science, Applied Math, Statistics, or equivalent industry experience
4+ years of professional experience in ML model evaluation, ML enabled QA, or applied ML engineering, including designing evaluation datasets, metrics, and protocols
Strong software engineering skills for building repeatable evaluation systems, including Python, data pipelines and analysis, testable and maintainable code, version control, and cloud based workflows (for example AWS or Azure)
Strong written communication skills for documenting evaluation methods, results, and recommendations
Preferred Qualifications
Familiarity with design, manufacturing, or AEC workflows, including hands-on experience with CAD/BIM tools such as Fusion, AutoCAD, or Revit
Experience with geometry or design data representations, including 2D and 3D
Familiarity with ML frameworks and tooling (for example PyTorch, Ray, or similar)
26WD96327, Ingénieur principal en apprentissage automatique, Évaluation
Présentation du poste
Le travail que nous accomplissons chez Autodesk touche pratiquement chaque personne sur la planète. En créant des outils logiciels destinés à la conception de bâtiments, de machines et même des films les plus récents, nous influençons et donnons les moyens d’agir à certaines des personnes les plus créatives au monde.
En tant qu'ingénieur principal en apprentissage automatique spécialisé dans l'évaluation des modèles d'apprentissage automatique pour la CAO et le BIM, vous veillerez à ce que les expériences basées sur l'apprentissage automatique répondent à des normes élevées en matière de qualité, de fiabilité et d'impact sur les clients pour l'ensemble des produits Autodesk. Vous travaillerez de manière pratique avec les logiciels Autodesk basés sur l'apprentissage automatique afin de concevoir des ensembles de données d'évaluation, des indicateurs et des protocoles qui reflètent les flux de travail réels des utilisateurs. Vous utiliserez ces signaux pour orienter la préparation des versions et l'amélioration continue en production. Vous communiquerez les résultats à travers des résumés d'évaluation clairs et des recommandations, en partenariat avec des chercheurs, des ingénieurs et des équipes produit afin de combler l'écart entre les performances hors ligne et les résultats réels pour les clients.
Vous rendrez compte à un responsable de l'équipe Model Delivery au sein d'Autodesk Research. Ce poste est basé à proximité de nos bureaux Autodesk en Amérique du Nord, de préférence à Toronto ou à Vancouver. Nous prenons en charge le travail en présentiel, hybride et à distance.
Responsabilités
Concevoir et exécuter des protocoles d'évaluation (ensembles de données, métriques, analyse statistique) qui reflètent les flux de travail réels des utilisateurs de CAO/BIM et les conditions de production
Développer des outils d'évaluation reproductibles et des automatisations pour soutenir le développement de modèles, les tests de régression et les décisions relatives à la préparation des versions
Collecter, traiter et analyser des données provenant de multiples sources (y compris des échantillons issus de la production) pour évaluer le comportement des modèles et les résultats pour les clients
Valider les expériences produit de bout en bout basées sur le ML et traduire les exigences produit en critères d'évaluation mesurables
Communiquer clairement les conclusions et les recommandations aux chercheurs, ingénieurs, équipes produit et dirigeants
Documenter les problèmes de qualité des modèles découverts en production ou lors de la validation (précision, robustesse, latence, modes de défaillance) et aider à hiérarchiser les investigations de suivi
Qualifications minimales
Licence ou master en génie mécanique, architecture, génie informatique, informatique, mathématiques appliquées, statistiques, ou expérience professionnelle équivalente
Au moins 4 ans d'expérience professionnelle dans l'évaluation de modèles ML, l'assurance qualité basée sur le ML ou l'ingénierie ML appliquée, y compris la conception d'ensembles de données d'évaluation, de métriques et de protocoles
Solides compétences en génie logiciel pour la création de systèmes d'évaluation reproductibles, notamment en Python, dans les pipelines et l'analyse de données, le code testable et maintenable, le contrôle de version et les workflows basés sur le cloud (par exemple AWS ou Azure)
Solides compétences en communication écrite pour documenter les méthodes d'évaluation, les résultats et les recommandations
Qualifications souhaitées
Connaissance des flux de travail en conception, fabrication ou AEC, y compris une expérience pratique des outils CAO/BIM tels que Fusion, AutoCAD ou Revit
Expérience en représentation de données géométriques ou de conception, y compris en 2D et 3D
Connaissance des frameworks et outils d'apprentissage automatique (par exemple PyTorch, Ray ou similaires)
Learn More / Plus d'information
About Autodesk / À propos d’Autodesk
Welcome to Autodesk! Amazing things are created every day with our software – from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.
We take great pride in our culture here at Autodesk – it’s at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.
When you’re an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!
Bienvenue chez Autodesk ! Nos logiciels créent chaque
autodesk