Was ist Shadow AI?

Überblick über Shadow AI

Schatten-KI bezeichnet jede KI-Nutzung in einem Unternehmen, die außerhalb genehmigter Kontrollen stattfindet, nicht inventarisiert und nicht im Hinblick auf Sicherheit überwacht wird. Sie kann sowohl innerhalb Ihrer Software-Lieferkette als auch in Ihrer Cloud-Umgebung vorkommen. Was genau ist Shadow AI? Einige Beispiele für Shadow AI sind:

• Nicht genehmigte KI-Apps wie Chatbots, Copilots und Summarizer
• Nicht genehmigte Modelle/APIs wie Browser-Erweiterungen, Plug-ins und öffentliche LLM-Endpunkte
• KI-generierte Artefakte wie Code, Skripte und Pakete

Traditionelle KI nutzt häufig eine zentrale Plattform mit Governance, Audit-Trails und Risikomanagement, um Sicherheitsbedrohungen zu minimieren. Schatten-KI ist dezentralisiert, unterliegt nur minimalen Kontrollen und verfügt über keine Audit-Trails. Die folgende Übersicht zeigt die wichtigsten Unterschiede zwischen Shadow AI und zentralisierter KI:

Shadow AI entsteht häufig dadurch, dass Entwickler, Analysten und andere Teams für mehr Geschwindigkeit und Komfort auf nicht autorisierte KI setzen. Das Copy-and-Paste von Daten in diese KI-Tools und -Services kann dazu führen, dass Quellcode, Geschäftsgeheimnisse und sensible Kundendaten nach außen gelangen. Da KI-Outputs außerdem oft in Images und Pakete einfließen, wird ein Dominoeffekt ausgelöst, der immer mehr Schatten-KI-Artefakte erzeugt.

Shadow IT vs. Shadow AI

Shadow IT (auf Deutsch: Schatten-IT) bezeichnet die Nutzung nicht autorisierter Hardware, Software oder Cloud-Services ohne die explizite Freigabe durch das IT-Team eines Unternehmens. Beispielsweise könnten Teammitglieder innerhalb des Unternehmens nicht autorisierte Software-as-a-Service-Lösungen (SaaS), Skripte oder nicht verwaltete Geräte verwenden, was erhebliche Sicherheitsrisiken birgt.

Da Schatten-IT nur über eingeschränkte Visibility und Zugangskontrollen verfügt, kann sie eine Sicherheitsbedrohung für Unternehmen darstellen. Im Vergleich zu Shadow IT bringt Shadow AI jedoch zusätzliche Risiken mit sich, die sich aus der Natur von KI-Tools und -Services ergeben. Zu diesen Risiken gehören:

• Daten können über KI-Prompts nach außen gelangen
• KI-Halluzinationen und unsicherer Code
• Versteckte Drittanbieter von Modellen und Plug-ins
• Lücken in der Provenance (Herkunft) von KI-generiertem Code und Binärdateien
• KI-Assets, die mit KI-Agenten verbunden sind, können Störungen im Betrieb verursachen

Schatten-IT kann auch zu Schatten-KI führen. Wenn Sie nicht genehmigte SaaS-Dienste mit aktivierten Plug-ins oder Erweiterungen verwenden, sind KI-Features möglicherweise standardmäßig aktiviert.

Was sind die Risiken von Shadow AI?

Zu den häufigen Risiken von Shadow AI gehören:

• KI-generierter Code ist nicht immer sicher und kann gängige Schwachstellen wie Injection-Angriffe, Authentication Bypass und Server-Side Request Forgery (SSRF) enthalten, die unnötige Sicherheitsrisiken schaffen.
• In Prompts eingefügte Token, die über Protokolle oder den Verlauf offengelegt werden, können Secrets preisgeben.
• KI kann unsichere Abhängigkeiten vorschlagen.
• KI kann Daten löschen oder verändern, obwohl sie das nicht sollte.
• KI-generierte Dockerfiles und Base Images aus unbekannten Quellen können ein Sicherheitsrisiko darstellen.
• Probleme in der Build-Pipeline, etwa nicht überprüfter Code oder KI-Skripte, die CI/CD-Schritte ohne Kontrollen verändern.
• Drittanbieter-KI kann Zugriff auf sensible interne Systeme erhalten.

Darüber hinaus gibt es bei Schatten-KI auch Datenschutzbedenken. Sensible Daten wie Quellcode, Konfigurationen, Finanzdaten und Kundenverträge können offengelegt werden. Außerdem ist unklar, wohin Prompts gesendet oder wie lange sie gespeichert werden, und Drittanbieter-Konnektoren könnten Daten exfiltrieren.

Zusätzlich bringt Shadow AI Risiken in Bezug auf Compliance und Haftungsregelungen mit sich. Als Unternehmen müssen Sie bestimmte Compliance- und Governance-Prozesse einhalten. Bei Schatten-KI ist jedoch unklar, wer welches Modell verwendet hat, welche Daten eingegeben wurden und wann das geschehen ist. Außerdem kann es zu Policy-Konflikten mit gängigen Compliance-Frameworks kommen, darunter SOC 2, ISO 27001, DSGVO, HIPAA, PCI und interne SDLC-Kontrollen.

Aufgrund unklarer Zuordnungs- und Wiederverwendungsregeln sowie der möglichen Einbindung eingeschränkt nutzbarer Materialien bestehen auch potenzielle IP- und Lizenzierungsrisiken. Außerdem können nicht nachverfolgte Artefakte und Abhängigkeiten in Builds und Releases gelangen, was sich auf die Software-Lieferkette auswirkt.

Schließlich können alle diese Faktoren zu irreversiblen Reputationsschäden für Unternehmen führen, die von einer dieser negativen Folgen von Shadow AI betroffen sind.

Ursachen von Shadow AI

Schatten-KI ist immer das Ergebnis nicht autorisierter KI-Nutzung. Dafür gibt es jedoch mehrere Ursachen:

• Nutzergetriebene Innovation und Bequemlichkeit führen zu einer vorzeitigen Einführung von KI-Tools.
• Mangelndes Bewusstsein und fehlende Schulung führen zu übermäßigem Vertrauen in den Output oder dazu, dass das Risiko der Weitergabe von Daten über Prompts nicht erkannt wird.
• Es gibt keine Liste genehmigter Tools, keine klaren Rahmenbedingungen und keine Überwachung für KI sowie fehlende SDLC-Kontrollen für KI-gestützten Code.
• Organisatorische Lücken wie fehlende Bestandsdaten der Pakete, Container, Build-Outputs, SBOMs und Metadaten zur Modellnutzung können die Ausbreitung von Schatten-KI zusätzlich begünstigen.

Beispiele für Shadow AI

Ein Blick auf einige Beispiele für Shadow AI kann helfen, besser zu verstehen, wie sich Shadow AI auf Ihr Unternehmen auswirken kann. In Unternehmensumgebungen kommt Schatten-KI in folgenden Szenarien häufig zum Einsatz:

• Entwickler nutzen öffentliche LLMs, um Terraform/Kubernetes-Manifeste zu generieren, zu überarbeiten oder zu schreiben sowie Fehler in Logs zu identifizieren.
• Analysten verwenden kostenlose KI-Tools, um interne Dokumente zusammenzufassen.
• Engineers installieren Browser-Erweiterungen, um Formulareingaben zu erfassen.
• Teams nutzen nicht freigegebene „KI-Codeprüfungs“-Bots zur Überprüfung ihres Codes.
• Dockerfiles enthalten nicht genehmigten KI-Modelle von Drittanbietern oder KI-API-Aufrufen.

Shadow AI kann an vielen verschiedenen Stellen auftreten:

• Mit einem OpenAI- oder Gemini-Schlüssel kann Shadow AI in praktisch jede Software integriert werden, die ein Entwickler erstellt, und auf sämtliche Informationen zugreifen, auf die der Entwickler Zugriff hat.
• Öffentliche Chat-Assistenten, „Copilot“-Coding-Tools und KI-gestützte Meeting-Summarizer.
• Extensions und Plug-ins in IDEs, Browsern und Ticketing-Tools.
• KI-gestützte Code-Generatoren für IaC, Pipelines und Container-Build-Dateien.

Im Januar 2023 stellte Amazon fest, dass die Antworten von ChatGPT mit internem Material aus dem Unternehmen„stark übereinstimmten”. Daraufhin erinnerte Amazon seine Mitarbeitenden daran, keine vertraulichen Informationen in ChatGPT-Prompts weiterzugeben.

Shadow AI effektiv verwalten

1. Nutzung von Shadow AI erkennen und messen

Der erste Schritt im Umgang mit Schatten-KI besteht darin, deren Nutzung zu erkennen und zu messen. Es gibt mehrere Möglichkeiten, die Nutzung von Schatten-KI zu erkennen:

• Ausgehender Netzwerk-Traffic zu gängigen KI-Endpunkten
• Inventare von Browser-Erweiterungen
• IAM-Protokolle und OAuth-Berechtigungen für KI-Plug-ins
• Vollständiger Scan der Software-Lieferkette
• Repository-/CI-Muster wie KI-generierte Commit-Signaturen und plötzliche Änderungen bei Abhängigkeiten

Sie können außerdem ein Inventar genehmigter Tools und Modelle erstellen, festlegen, welche Teams sie verwenden und welche Datentypen mit diesen Tools genutzt werden dürfen.

2. Richtlinien für die Nutzung von KI erstellen und durchsetzen

Erstellen Sie eine Checkliste mit KI-Nutzungsrichtlinien. Sie sollte Folgendes enthalten:

• Eine Liste genehmigter Tools und Modelle sowie Beschaffungswege
• Regeln zum Umgang mit Daten, die festlegen, was in Prompts eingefügt werden darf und was nicht (Quellcode, Secrets, Kundendaten) sowie Vorgaben zur Unkenntlichmachung sensibler Informationen
• Protokollierungs- und Audit-Anforderungen
• Erwartungen an menschliche Reviews von KI-generiertem Code und Konfiguration
• Governance von Drittanbieter-Plug-ins (Konnektoren, Berechtigungen, Aufbewahrung)

Das Ausarbeiten von Richtlinien ist ein notwendiger erster Schritt und die Schulung von Mitarbeitenden bezüglich dieser Richtlinien ist entscheidend – echter Schutz erfordert jedoch eine konsequente Durchsetzung, um sicherzustellen, dass nur genehmigte KI-Assets verwendet werden. Entscheidend ist dabei, dass die Richtlinien so integriert werden, dass sie für Ihre Teams einfach, reibungslos und unkompliziert umzusetzen sind – damit sie nicht dazu verleitet werden, nach riskanten Workarounds zu suchen.

3. Shadow AI in Sicherheits- und Governance-Frameworks integrieren

KI-Ausgaben müssen wie eingehende Komponenten/Artefakte in die Software-Lieferkette behandelt werden. Für jeden KI-Output sollten daher folgende Anforderungen gelten:

• Artefakt-Provenance (welches Tool oder Modell verwendet wurde und wer es generiert hat)
• Abhängigkeits- und Schwachstellen-Scanning
• Policy-Gates vor der Weiterleitung
• Erstellung und Aufbewahrung von SBOMs

Sie sollten außerdem DevSecOps-Richtlinien in CI/CD und Registries durchsetzen:

• Risikoreiche Pakete und Images proaktiv blockieren
• Unbekannte Artefakte isolieren
• Nur richtlinienkonforme Builds promoten

4. Sichere Alternativen bereitstellen, damit Teams keine riskanten Workarounds suchen

Die Bereitstellung eines „Secure AI“-Ansatzes ist eine hervorragende Möglichkeit, AI-SPM zu verbessern. Bieten Sie einen Weg an, der Unternehmenskonten, Single-Sign-On (SSO), Protokollierung und Kontrollen für die Datenaufbewahrung umfasst.

Ermöglichen Sie „secure-by-default“-Workflows für Entwickler, etwa vorab genehmigte Templates für Dockerfiles/IaC und nutzen Sie Guardrails sowie automatisierte Prüfungen, um Reibungsverluste zu minimieren und effiziente Workflows zu gewährleisten.

5. Incident Response und kontinuierliche Verbesserung

Wenn Sie Shadow AI in Ihrer Unternehmen entdecken, sollten Sie drei wichtige Schritte befolgen:

1. Eindämmen: Token widerrufen, Secrets rotieren und Erweiterungen entfernen
2. Bewerten: Welche Daten wurden geteilt und wo wurden sie gespeichert
3. Beheben: Artefakte erneut scannen, sauber neu erstellen und Richtlinien sowie Schulungen aktualisieren

Mithilfe dieser Maßnahmen machen Unternehmen aus nicht verwalteter KI kontrollierte Assets und wenden dabei dieselben strengen Sicherheits- und Kontrollprüfungen an, die auch im Rest ihrer Software-Lieferkette zum Einsatz kommen. Zu den wichtigsten Metriken, die es zu überprüfen gilt, gehören: Prozentsatz der KI-Nutzung von genehmigten Tools, die Anzahl blockierter/unter Quarantäne gestellter Artefakte und die Zeit bis zur Behebung von Schwachstellen.

Shadow AI mit JFrog verwalten

Die Nutzung von Schatten-KI zu unterbinden und Sicherheitsbedrohungen zu identifizieren, ist ein mehrstufiger Prozess, der Zeit, Aufwand und die richtigen Tools erfordert. Mit der Shadow AI Detection im JFrog AI Catalog erhalten Sie einen umfassenden Überblick über alle verwalteten und nicht verwalteten Modelle auf Ihrer Plattform.

Der JFrog AI Catalog verwendet Xray, um Ihre Artefakte und Repositories zu scannen und identifiziert automatisch nicht überprüfte Modelle, die von Ihrem Team verwendet werden. Modelle werden als “Managed” (verwaltet), “Unmanaged” (nicht verwaltet) oder „Partially Managed” (teilweise verwaltet) gekennzeichnet, sodass Sie sofort erkennen können, welche Assets Ihre Aufmerksamkeit erfordern. Anschließend können Sie sichere Modelle freigeben oder riskante blockieren.

Weitere Informationen finden Sie auf unserer Website, bei einer virtuellen Tour oder Sie vereinbaren eine persönliche Demo zu einem Zeitpunkt Ihrer Wahl.