Was ist Shadow AI?

Überblick zu Shadow AI

Shadow AI bezeichnet jeden KI-Einsatz in einer Organisation, der außerhalb genehmigter Kontrollen stattfindet, nicht inventarisiert und nicht sicherheitstechnisch überwacht wird. Sie kann innerhalb Ihrer Software-Lieferkette oder in Ihrer Cloud-Umgebung existieren. Doch was genau umfasst Shadow AI? Einige Beispiele für Shadow AI sind:

• Nicht genehmigte KI-Apps wie Chatbots, Copilots und Summarizer.
• Nicht genehmigte Modelle/APIs via Browser-Extensions, Plug-ins und öffentliche LLM-Endpunkte.
• KI-generierte Artefakte wie Code, Skripte und Packages.

Traditionelle KI nutzt oft eine zentrale Plattform mit Governance, Audit-Trails und Risikomanagement, um Sicherheitsbedrohungen zu minimieren. Shadow AI ist dezentralisiert, verfügt über minimale Kontrollen und besitzt keine Audit-Trails. Was sind daher die wichtigsten Unterschiede zwischen Shadow AI und zentralisierter KI? Hier ein kurzer Überblick

Shadow AI entsteht häufig dadurch, dass Entwickler und Analysten für mehr Geschwindigkeit und Komfort auf inoffizielle Tools setzen. Das Copy-and-Paste von Daten in diese Dienste kann dazu führen, dass Quellcode, Geschäftsgeheimnisse und sensible Kundendaten nach außen gelangen. Da KI-Outputs zudem oft in Images und Packages einfließen, entsteht ein Domino-Effekt, der immer mehr Shadow-AI-Artefakte erzeugt.

Shadow IT vs. Shadow AI

Shadow IT bezeichnet die Nutzung jeglicher nicht autorisierter Hardware, Software oder Cloud-Services ohne die explizite Freigabe durch das IT-Team einer Organisation. Beispielsweise könnten Teammitglieder innerhalb des Unternehmens nicht genehmigte Software-as-a-Service-Lösungen (SaaS), Skripte oder nicht verwaltete Geräte verwenden, was erhebliche Sicherheitsrisiken birgt.

Da Shadow IT über eingeschränkte Sichtbarkeit und Zugangskontrolle verfügt, kann es eine Sicherheitsbedrohung für Organisationen darstellen. Shadow AI bringt jedoch einzigartige Risiken gegenüber Shadow IT mit sich, die in der Natur von KI-Tools und -Diensten begründet sind. Diese Risiken umfassen:

• Datenabfluss aus dem Unternehmen über KI-Prompts.
• KI-Halluzinationen und unsicherer Code.
• Versteckte Drittanbieter von Modellen und Plug-ins.
• Lücken in der Provenance (Herkunft) von KI-generiertem Code und Binaries.
• KI-Assets, die mit KI-Agenten verbunden sind, können Störungen im Betrieb verursachen

Shadow IT kann auch zu Shadow KI führen. Wenn Sie nicht genehmigte SaaS-Dienste mit aktivierten Plug-ins oder Erweiterungen nutzen, sind KI-Funktionen möglicherweise standardmäßig aktiviert.

Was sind die Risiken von Shadow AI?

Zu den häufigen Risiken von Shadow AI gehören:

• KI-generierter Code ist nicht immer sicher und kann gängige Schwachstellen enthalten, wie etwa Injection-Angriffe, Autorisierungsumgehungen und Server-Side Request Forgery (SSRF), wodurch unnötige Sicherheitsrisiken entstehen.
• In Prompts eingefügte Tokens, die über Logs oder den Verlauf offengelegt werden, können Secrets preisgeben.
• Die KI kann unsichere Abhängigkeiten vorschlagen.
• Die KI kann Daten löschen oder verändern, die nicht verändert werden sollten.
• Von KI erstellte Dockerfiles und Base Images aus unbekannten Quellen können ein Sicherheitsrisiko darstellen.
• Probleme in der Build-Pipeline, etwa nicht überprüfter Code oder KI-Skripte, die ohne Kontrollen CI/CD-Schritte verändern.
• Drittanbieter-KI kann Zugriff auf sensible interne Systeme erhalten.

Darüber hinaus gibt es Datenschutzbedenken im Zusammenhang mit Shadow AI. Sensible Daten wie Quellcode, Konfigurationsdateien, Finanzdaten und Kundenverträge können offengelegt werden. Außerdem ist unklar, wohin Prompts gesendet werden oder wie lange sie gespeichert werden, und Drittanbieter-Connectoren könnten Daten exfiltrieren.

Zusätzlich bringt Shadow AI Risiken in Bezug auf Compliance und Regulierung mit sich. Als Unternehmen müssen Sie bestimmte Compliance- und Governance-Prozesse einhalten. Mit Shadow AI wissen Sie jedoch nicht, wer welches Modell verwendet hat, welche Daten eingegeben wurden oder wann dies geschehen ist. Außerdem können Konflikte mit gängigen Compliance-Frameworks entstehen, darunter SOC 2, ISO 27001, GDPR, HIPAA, PCI und interne SDLC-Kontrollen.

Darüber hinaus bestehen potenzielle IP- und Lizenzierungsrisiken aufgrund unklarer Zuordnungs- und Wiederverwendungsregeln sowie der möglichen Einbindung eingeschränkt nutzbarer Materialien. Außerdem können nicht nachverfolgte Artefakte und Abhängigkeiten in Builds und Releases gelangen, was sich auf die Software-Lieferkette auswirkt. Schließlich können all diese Faktoren zu irreversiblen Reputationsschäden für Unternehmen führen, die von einer dieser negativen Folgen von Shadow AI betroffen sind.

Ursachen von Shadow AI

Shadow AI ist stets das Ergebnis einer nicht autorisierten Nutzung von KI, doch es gibt mehrere Gründe dafür:

• Nutzergetriebene Innovation und der Wunsch nach Komfort führen zur vorzeitigen Einführung von KI-Tools.
• Mangelndes Bewusstsein und fehlende Schulungen führen zu übermäßigem Vertrauen in die Ergebnisse oder dazu, dass das Risiko der Weitergabe von Daten über Prompts nicht erkannt wird.
• Es gibt keine Liste genehmigter Tools, keine Leitplanken oder Überwachung für KI sowie fehlende SDLC-Kontrollen für KI-gestützten Code.
• Organisatorische Lücken wie fehlende Inventare von Paketen, Containern, Build-Outputs, SBOMs und Metadaten zur Modellnutzung können Shadow AI zusätzlich verstärken.

Beispiele für Shadow AI

Ein Blick auf einige Beispiele kann helfen, besser zu verstehen, wie Shadow AI Ihr Unternehmen beeinflussen kann.

Einige häufige Szenarien in Unternehmensumgebungen, in denen Schatten-KI zum Einsatz kommt:

• Entwickler nutzen öffentliche LLMs, um Terraform- oder Kubernetes-Manifeste zu generieren, zu refaktorieren oder zu schreiben und Fehler in Logs zu identifizieren.
• Analysten verwenden kostenlose KI-Tools, um interne Dokumente zusammenzufassen.
• Ingenieure installieren Browser-Erweiterungen, um Formulareingaben zu erfassen.
• Teams nutzen nicht genehmigte „AI Code Review“-Bots zur Überprüfung ihres Codes.
• Dockerfiles enthalten nicht genehmigte KI-Modelle von Drittanbietern oder KI-API-Aufrufe.

Es gibt viele unterschiedliche Stellen, an denen Shadow AI auftreten kann:

• Mit einem OpenAI- oder Gemini-Schlüssel kann Shadow AI in praktisch jede Software integriert werden, die ein Entwickler erstellt, und Zugriff auf sämtliche Informationen erhalten, auf die der Entwickler Zugriff hat.
• Öffentliche Chat-Assistenten, „Copilot“-Coding-Tools und KI-basierte Meeting-Zusammenfassungen.
• Erweiterungen und Plug-ins in IDEs, Browsern und Ticketing-Tools.
• KI-gestützte Codegeneratoren für IaC, Pipelines und Container-Build-Dateien.

Im Januar 2023 stellte Amazon fest, dass ChatGPT-Antworten „stark mit vorhandenen Materialien aus dem Unternehmen übereinstimmten“. Daraufhin erinnerte Amazon seine Mitarbeitenden daran, keine vertraulichen Informationen in ChatGPT-Prompts einzugeben.

Wie man Shadow AI effektiv verwaltet

1. Nutzung von Shadow AI erkennen und messen

Der erste Schritt beim Umgang mit Shadow AI besteht darin, deren Nutzung zu erkennen und zu messen. Es gibt mehrere Möglichkeiten, Shadow-AI-Nutzung zu erkennen:

• Netzwerk-Egress zu gängigen KI-Endpunkten
• Inventare von Browser-Erweiterungen
• IAM-Logs und OAuth-Berechtigungen für KI-Plug-ins
• Vollständiger Scan der Software-Lieferkette
• Repository- und CI-Muster wie KI-generierte Commit-Signaturen und plötzliche Änderungen an Abhängigkeiten

Sie können außerdem ein Inventar genehmigter Tools und Modelle erstellen, festlegen, welche Teams sie verwenden und welche Datentypen mit diesen Tools genutzt werden dürfen.

2. Richtlinien für die Nutzung von KI erstellen und durchsetzen

Erstellen Sie eine Checkliste mit KI-Nutzungsrichtlinien:

• Eine Liste genehmigter Tools und Modelle sowie definierte Beschaffungswege
• Regeln zum Umgang mit Daten, die festlegen, was in Prompts eingefügt werden darf und was nicht (Quellcode, Secrets, Kundendaten) sowie Anforderungen zur Schwärzung sensibler Informationen
• Logging- und Audit-Anforderungen
• Erwartungen an menschliche Reviews für KI-generierten Code und Konfigurationen
• Governance für Plug-ins von Drittanbietern (Connectoren, Berechtigungen, Aufbewahrung)

Das Schreiben einer Richtlinie ist ein notwendiger erster Schritt, und die Schulung der Mitarbeitenden in Bezug auf diese Richtlinie ist entscheidend – echter Schutz erfordert jedoch eine konsequente Durchsetzung, um sicherzustellen, dass nur genehmigte KI-Ressourcen verwendet werden. Entscheidend ist dabei, dass diese Durchsetzung so integriert wird, dass sie für Teams einfach, reibungslos und unkompliziert ist, damit sie nicht nach riskanten Umgehungslösungen suchen.

3. Shadow AI in Sicherheits- und Governance-Frameworks integrieren

KI-Ausgaben müssen als Eingaben in die Software-Lieferkette behandelt werden. Anforderungen für jede KI-Ausgabe sollten daher Folgendes umfassen:

• Artefakt-Provenienz (welches Tool oder Modell verwendet wurde und wer es erzeugt hat)
• Scannen von Abhängigkeiten und Schwachstellen
• Richtlinien-Gates vor der Weiterleitung
• Erstellung und Aufbewahrung von SBOMs

Sie müssen außerdem DevSecOps-Richtlinien in CI/CD und Registries durchsetzen:

• Risikoreiche Pakete und Images proaktiv blockieren
• Unbekannte Artefakte in Quarantäne verschieben
• Nur konforme Builds zur Promotion zulassen

4. Sichere Alternativen bereitstellen, damit Teams keine Umgehungen suchen

Die Bereitstellung eines „Secure AI“-Pfads ist eine hervorragende Möglichkeit, AI-SPM zu verbessern. Bieten Sie einen Pfad an, der Enterprise-Konten, Single Sign-on (SSO), Logging und Aufbewahrungskontrollen umfasst. Ermöglichen Sie „secure-by-default“-Workflows für Entwickler, etwa vorab genehmigte Templates für Dockerfiles oder IaC, und nutzen Sie Vorgaben sowie automatisierte Prüfungen, um Reibungsverluste zu minimieren und effiziente Workflows zu gewährleisten.

5. Incident Response und kontinuierliche Verbesserung

Wenn Sie feststellen, dass Shadow AI in Ihrer Organisation genutzt wird, sollten drei wichtige Schritte folgen:

1. Eindämmen: Tokens widerrufen, Geheimnisse rotieren und Erweiterungen entfernen
2. Bewerten: Welche Daten geteilt wurden und wo sie gespeichert wurden
3. Beheben: Artefakte erneut scannen, sauber neu erstellen sowie Richtlinien und Schulungen aktualisieren

Durch diese Schritte transformieren Organisationen nicht verwaltete KI in geregelte Assets und wenden dieselben strengen Sicherheits- und Kontrollprüfungen an, die im Rest ihrer Software-Lieferkette verwendet werden. Wichtige Metriken, die überprüft werden sollten, sind: Anteil der KI-Nutzung an genehmigten Tools, Anzahl blockierter/unter Quarantäne gestellter Artefakte und Zeit bis zur Behebung von Sicherheitslücken.

Mehr erfahren: Shadow AI in 5 Schritten erkennen und eliminieren

Shadow AI mit JFrog verwalten

Die Beendigung von Shadow-AI-Nutzung und die Identifizierung von Sicherheitsbedrohungen ist ein mehrstufiger Prozess, der Zeit, Aufwand und die richtigen Tools erfordert. Mit Shadow AI Detection im JFrog AI Catalog erhalten Sie eine umfassende Übersicht über alle verwalteten und nicht verwalteten Modelle auf Ihrer Plattform.

Der JFrog AI Catalog nutzt Xray, um Ihre Artefakte und Repositories zu scannen und automatisch nicht geprüfte Modelle zu identifizieren, die von Ihrem Team verwendet werden. Modelle werden als Managed, Unmanaged oder Partially Managed gekennzeichnet, sodass Sie sofort erkennen können, welche Assets Ihre Aufmerksamkeit erfordern. Anschließend können Sie sichere Modelle freigeben oder riskante blockieren.

Für weitere Informationen besuchen Sie bitte unsere Website. Sie können außerdem eine virtuelle Tour machen oder jederzeit eine persönliche Demo vereinbaren.