Qu’est-ce que ModelOps?

Aperçu

Pour tirer le maximum de valeur d’un modèle de machine learning (ML), il faut non seulement développer et déployer un modèle efficace, mais aussi mettre en place les contrôles de gouvernance nécessaires pour aligner les opérations du modèle sur les objectifs et les priorités de l’entreprise.

C’est l’objectif du ModelOps. En fournissant un cadre pour la gestion systématique des modèles, le ModelOps aide à combler le fossé entre les aspects techniques du développement ML d’une part, et les besoins de l’entreprise d’autre part.

Qu’est-ce que ModelOps ?

De manière générale, le ModelOps se définit comme l’ensemble des pratiques et des outils qu’une entreprise utilise pour maximiser la valeur de ses ressources en intelligence artificielle (IA).

Cela dit, définir l’approche ModelOps avec précision peut s’avérer difficile car différentes personnes utilisent le terme pour se référer à des concepts et des pratiques quelque peu différents. Il existe deux grands courants de pensée autour de la signification du ModelOps.

La première est la définition du ModelOps proposée par les chercheurs d’IBM, qui ont introduit le terme « ModelOps » lors d’une présentation en 2018. Dans leur exposé, ils l’envisageaient comme un moyen de créer des « des workflows d’IA modulaires, indépendants de toute plateforme et facilement réutilisables ». De ce point de vue, le ModelOps se concentre principalement sur la rapidité et l’efficacité des workflows de développement et de déploiement de ML. Il s’appuie sur des concepts nés de l’approche DevOps qui vise à accélérer et à rendre plus efficace le développement des logiciels en général.

Cependant, d’autres définitions du ModelOps, telles que celles de Gartner, se concentrent davantage sur le rôle du ModelOps dans la gouvernance des modèles de ML et la gestion du cycle de vie que sur l’efficacité du développement de ML. Ces définitions considèrent le ModelOps comme un moyen d’aligner les aspects techniques des modèles de ML sur les priorités de l’entreprise, par exemple en veillant à ce que les modèles incluent les contrôles de gouvernance nécessaires pour répondre aux exigences de l’entreprise en matière de conformité à la réglementation sur l’IA d’une entreprise.

Ces différentes définitions convergent dans le sens où elles positionnent le ModelOps comme une stratégie que les organisations peuvent utiliser pour gérer leurs investissements en IA et optimiser la valeur qu’ils créent. Ainsi, quelle que soit la façon dont on choisit de définir le ModelOps, l’objectif ultime est d’aider les organisations à faire un usage plus efficace de l’IA et du ML.

ModelOps vs MLOps

Bien qu’il y ait un certain manque de cohérence dans les définitions du ModelOps, toutes les définitions distinguent le ModelOps du MLOps.

MLOps, abréviation de machine learning operations, est une approche du développement de modèles d’apprentissage automatique qui décompose le processus en étapes cohérentes et reproductibles, telles que le design, le développement, les tests et le déploiement des modèles. L’objectif principal de l’approche MLOps est de rendre le développement de ML fiable et prévisible.

En revanche, le ModelOps se concentre sur la gestion de l’approche d’une entreprise en matière de ressources d’IA et du ML à un niveau plus élevé. L’approche inclut des considérations telles que la gouvernance des modèles et la gestion du cycle de vie, qui ne sont pas des éléments courants de l’approche de la plupart des organisations en matière de MLOps.

Il est possible d’affirmer que le ModelOps s’appuie sur le MLOps ou en est une extension. En effet, une approche systématique et prévisible du développement du ML (qui est l’objectif principal de MLOps) est une condition préalable à la réalisation des objectifs du ModelOps, comme la capacité à mettre en œuvre des contrôles de gouvernance efficaces sur les modèles. On pourrait également considérer le ModelOps comme un complément au MLOps, dans le sens où le ModelOps contribue à garantir non seulement que les entreprises peuvent développer et déployer des modèles de manière efficace, mais aussi qu’elles peuvent les utiliser de manière à maximiser la valeur pour l’organisation.

Quelle que soit la manière dont on envisage la relation entre le ModelOps et le MLOps, ce qui compte vraiment, c’est de comprendre que le MLOps est un processus plus étroit, centré sur la conception, le développement et le déploiement du ML. En revanche, le ModelOps aborde la stratégie en matière d’IA et de ML à l’échelle de l’ensemble de l’organisation.

Composants ModelOps

En raison des différentes définitions du ModelOps, il existe des opinions divergentes sur les processus précis et les types d’outils que les organisations doivent mettre en œuvre pour adopter le ModelOps. Cependant, en général, les composants clés du ModelOps sont les suivants :

• Développement du ML : Dans le domaine de l’apprentissage automatique, le développement est le processus de création et d’affinement des modèles.
• Gestion des données : Il est essentiel de s’assurer que les modèles sont formés sur les bonnes données et que les données sont de qualité appropriée pour aligner les initiatives de ML sur les objectifs de l’entreprise.
• Entraînement : L’entraînement expose les modèles à des données qui les aident à identifier des schémas et à « apprendre » à prendre des décisions.
• Tests et analyse des performances : En analysant le degré d’excellence des modèles dans l’exécution d’une tâche donnée, les entreprises peuvent déterminer leur aptitude à prendre en charge les cas d’utilisation prévus.
• Gouvernance : Les contrôles de gouvernance des modèles réduisent les risques organisationnels en garantissant que les modèles sont développés, entraînés et déployés de manière à atténuer les risques commerciaux (tels qu’une prise de décision biaisée).
• Versionnage : Les contrôles de version des modèles permettent de gérer les modifications apportées aux modèles au fil du temps.
• Mise à l’échelle : La mise à l’échelle garantit que les modèles peuvent prendre en charge un nombre croissant d’utilisateurs ou de volumes de données au fil du temps.

Ces différents composants nécessitent la participation de plusieurs types de parties prenantes au processus ModelOps. Outre les développeurs ML, qui sont responsables du développement et du déploiement des modèles, les représentants de l’ensemble de l’entreprise, tels que les analystes des risques, qui peuvent déterminer les contrôles de gouvernance à mettre en place, et les cadres, qui comprennent les priorités commerciales de haut niveau que les modèles doivent soutenir, ont un rôle à jouer dans le ModelOps.

L’importance du ModelOps

L’approche ModelOps est importante car investir dans les technologies d’IA et de ML est souvent coûteux, complexe et risqué, et il n’y a aucune garantie que ces investissements créeront à terme de la valeur pour l’entreprise. À titre d’exemple, une entreprise pourrait développer et mettre en production un modèle d’IA onéreux destiné à automatiser un processus essentiel, avant de se rendre compte que ce modèle engendre des décisions posant des problèmes de conformité. Il se peut aussi qu’elle ne mette pas à jour le modèle assez fréquemment sur la base de nouvelles données d’entraînement pour le maintenir en phase avec l’évolution des priorités de l’entreprise.

Le ModelOps permet d’atténuer les risques de ce type en offrant aux entreprises un moyen structuré et cohérent de gérer leurs différents investissements dans l’IA et le ML. L’approche permet de s’assurer que des projets tels que le développement d’un nouveau modèle sont conçus et mis en œuvre en conformité avec les objectifs de l’entreprise. En outre, elle encourage les organisations à adopter une attitude proactive dans la gestion des risques qui peuvent découler des investissements dans le ML.

Exemples du ModelOps

Pour illustrer la façon dont les organisations appliquent le ModelOps dans la pratique, examinons les deux exemples de scénarios suivants.

#1. Garantir l’équité financière

Les banques et autres organismes financiers ont des obligations éthiques et réglementaires qui les obligent à traiter leurs clients de manière équitable. Il s’agit notamment d’éviter de prendre des décisions partiales, comme de refuser un prêt en fonction du lieu de résidence ou de l’âge du demandeur. Pour respecter ces obligations lorsqu’elles utilisent des modèles ML pour traiter les demandes de prêt, les banques doivent s’assurer que les modèles comportent des garde-fous destinés à atténuer le risque de biais.

Une approche ModelOps peut être utile dans ce scénario en intégrant les équipes de gestion des risques et de conformité dans le processus de conception, de développement et de déploiement du ML. En permettant à ces parties prenantes de fournir des informations aux développeurs ML sur les contrôles anti-biais qui devraient être mis en place dans les modèles, les organisations peuvent anticiper les risques commerciaux potentiels qui peuvent survenir lorsqu’elles dépendent d’un modèle pour automatiser la prise de décision.

#2. Atténuer les risques de cybersécurité pour le codage assisté par l’IA

Les outils de développement de logiciels assistés par l’IA peuvent accélérer considérablement le processus de développement. Cependant, ils introduisent également de nouveaux risques, tels que la possibilité qu’un modèle « hallucine » le nom d’un logiciel ou d’une dépendance. Lorsque cela se produit, des acteurs malveillants peuvent potentiellement exploiter la faille pour lancer une attaque dite de « package hallucination ».

Pour atténuer ce risque, une organisation pourrait s’appuyer sur l’approche ModelOps pour mettre en œuvre des contrôles de sécurité de l’IA capables d’identifier des packages fictifs dans le code généré par l’IA. Par exemple, les développeurs peuvent créer un filtre de sortie qui vérifie les noms de packages dans le code par rapport aux listes de packages réels afin de détecter les cas où le modèle a halluciné une dépendance. Cette mesure de protection réduirait considérablement le risque que le code généré par l’IA devienne un vecteur d’attaques de la chaîne d’approvisionnement logicielle qui exploitent des packages hallucinés.

Construire une plateforme ModelOps

Le ModelOps étant un concept relativement nouveau, l’écosystème logiciel qui l’entoure est encore en cours de développement. Il existe une poignée de plateformes conçues spécifiquement pour aider les organisations à mettre en œuvre le ModelOps, et l’adoption de l’une d’entre elles est l’un des moyens de le mettre en œuvre.

Cependant, les équipes peuvent également adopter le ModelOps en intégrant des fonctionnalités de gouvernance et de gestion du cycle de vie dans leurs outils MLOps et workflows existants. Par exemple, elles pourraient modifier les processus liés au design des modèles pour s’assurer que les parties prenantes autres que les développeurs participent au processus, et elles pourraient ajouter des étapes au cours du processus de développement pour mettre en œuvre des contrôles de gouvernance.

L’intégration du ModelOps dans les workflows ML existants peut s’avérer plus efficace pour les organisations qui disposent déjà d’un ensemble bien établi d’outils et de processus de développement ML, et qui souhaitent éviter d’avoir à reconstruire leurs outils et processus MLOps à partir de zéro pour les adapter au ModelOps.

ModelOps avec JFrog

En offrant une expérience unifiée pour la création, l’entraînement, la sécurisation, le déploiement et la supervision des modèles de machine learning, JFrog fournit les capacités fondamentales nécessaires à l’adoption d’une approche globale de gestion des investissements en ML, basée sur le ModelOps. Voyez par vous-même en commençant gratuitement.