Lenovo-Chatbot-Lücke wirft Schlaglicht auf KI-Sicherheitsrisiken

Der Chatbot „Lena“ von Lenovo basiert auf GPT-4 von OpenAI und wird für den Kundensupport verwendet. Sicherheitsforscher von Cybernews fanden heraus, dass das KI-Device anfällig für Cross-Web site-Scripting-Angriffe (XSS) conflict. Die Experten haben eine Schwachstelle entdeckt, über die sie schädliche HTML-Inhalte generieren und Schadcode einschleusen konnten.

„Jeder weiß, dass Chatbots halluzinieren und durch Immediate-Injektionen ausgetrickst werden können. Das ist nichts Neues“, so das Cybernews-Forschungsteam in einem Bericht. „Wirklich überraschend ist, dass Lenovo sich trotz Kenntnis dieser Schwachstellen nicht vor potenziell böswilligen Manipulationen geschützt hat.“

So funktionierte der Angriff

Die Sicherheitslücke zeigte die Kaskade von Sicherheitsfehlern, die auftreten können, wenn KI-Systeme nicht über eine ordnungsgemäße Eingabe- und Ausgabe-Validierung verfügen. Der Angriff der Forscher erfolgte durch eine Eingabeaufforderung, die mit einer legitimen Produktanfrage begann. Anschließend wurde der Chatbot dazu gebracht, bösartigen HTML-Code zu generieren. Mit dem Code ließen sich Sitzungscookies stehlen, wenn Bilder nicht geladen werden konnten.

Als Lenovos Lena die bösartige Eingabeaufforderung erhielt, stellten die Forscher fest, dass „das Bestreben, Menschen zufrieden zu stellen, nach wie vor ein Drawback großer Sprachmodelle ist. Deshalb habe der Lenovo-Chatbot die bösartige Payload akzeptiert, welche die XSS-Sicherheitslücke ausnutzte und das Abfangen von Sitzungscookies ermöglichte, heißt es im Forschungsbericht.

Unternehmensweite Auswirkungen

Cybernews warnte zudem, dass Angreifer die Schwachstelle nutzen könnten, um Help-Schnittstellen zu verändern, Keylogger einzusetzen und Phishing-Angriffe zu starten. Darüber hinaus könnten Unbefugte Systembefehle ausführen, die Backdoors installieren und laterale Bewegungen innerhalb der Netzwerkinfrastruktur ermöglichen.

„Mit dem gestohlenen Session-Cookie des Help-Mitarbeiters ist es möglich, sich mit dem Konto des Help-Mitarbeiters beim Kundensupport-System anzumelden“, erklärten die Analysten.

Dem Bericht zufolge hat Lenovo die Schwachstelle inzwischen behoben.

Sicherheitsanforderungen für CISOs

Für Sicherheitsverantwortliche unterstreicht dieser Vorfall jedoch die Notwendigkeit grundlegender Änderungen bei der Einführung von KI.

Nach Ansicht von Melissa Ruzzi, Direktorin für KI beim Sicherheitsunternehmen AppOmni verdeutlicht der Vorfall bei Lenovo „das bekannte Drawback der Immediate-Injektion bei generativer KI“. Sie mahnte: „Es ist von entscheidender Bedeutung, den gesamten Datenzugriff der KI zu überwachen, der in den meisten Fällen nicht nur Lesezugriff, sondern auch Bearbeitungsrechte umfasst, was diese Artwork von Angriffen noch verheerender machen könnte.“

Arjun Chauhan, Observe Director bei Everest Group wies daraufhin, die Schwachstelle sei „sehr repräsentativ für die aktuelle Scenario der meisten Unternehmen. KI-Chatbots werden rasch eingeführt, um die Kundenzufriedenheit zu verbessern, ohne dabei die gleichen strengen Maßstäbe anzulegen wie bei anderen kundenorientierten Anwendungen“.

Dem Experten zufolge besteht das grundlegende Drawback darin, dass Unternehmen KI-Systeme als experimentelle Nebenprojekte behandeln und nicht als geschäftskritische Anwendungen. „Viele Unternehmen behandeln LLMs immer noch als ‚Black Bins‘ und integrieren sie nicht in ihre etablierten App-Sicherheitspipelines“.

Chauhan empfiehlt: „CISOs sollten KI-Chatbots als vollwertige Anwendungen behandeln und nicht nur als KI-Pilotprojekte.“ Das bedeute, dass die gleichen Sicherheitsstandards wie für Webanwendungen angewendet werden müssten. Dadurch sei sichergestellt, dass KI-Antworten keinen Code direkt ausführen, und spezifische Checks gegen Prompt-Injection-Angriffe durchgeführt werden müssen.

Ruzzi von AppOmni rät Unternehmen, „sich über Finest Practices im Bereich Immediate Engineering auf dem Laufenden zu halten“ und „zusätzliche Kontrollen zu implementieren, um die Interpretation von Immediate-Inhalten durch die KI einzuschränken und den Datenzugriff der KI zu überwachen und zu kontrollieren“.

Die Cybernews-Forscher forderten Unternehmen dazu auf, bei allen Daten, die durch KI-Chatbot-Systeme fließen, folgenden  Ansatz zu verfolgen: „Niemals vertrauen, immer überprüfen“.

Innovation und Risiko in Einklang bringen

Die Schwachstelle bei Lenovo habe die Sicherheitsrisiken verdeutlicht, die entstehen, wenn Unternehmen KI-Technologien ohne angemessene Schutzvorkehrungen einsetzen, betonte Chauhan. Er warnte, dass bei KI-Systemen „das Risikoprofil grundlegend anders ist“, da „Modelle unter feindlichen Eingaben unvorhersehbar reagieren“.

Lesetipp: Unternehmen zu lax bei KI-Sicherheit

Jüngste Branchenzahlen zeigen, dass der automatisierte Bot-Site visitors erstmals den von Menschen generierten Site visitors übertroffen hat und im Jahr 2024 51 Prozent des gesamten Web-Traffics ausmachte. Die Schwachstellenkategorien decken sich mit den allgemeinen Sicherheitsbedenken im Zusammenhang mit KI, die in der OWASP-Liste der zehn wichtigsten LLM-Schwachstellen dokumentiert sind, wobei Immediate-Injections an erster Stelle stehen.

Ruzzi merkte an, dass „KI-Chatbots als eine weitere SaaS-Anwendung betrachtet werden können, bei der Fehlkonfigurationen beim Datenzugriff leicht zu Datenverletzungen führen können“. Sie betonte, dass „Sicherheit mehr denn je ein wesentlicher Bestandteil jeder KI-Implementierung sein sollte. Obwohl der Druck besteht, KI-Funktionen so schnell wie möglich auf den Markt zu bringen, darf dies nicht zu Lasten der ordnungsgemäßen Datensicherheit gehen“.

„Der Fall Lenovo bestätigt, dass Immediate-Injection und XSS keine theoretischen Konzepte sind, sondern aktive Angriffsvektoren“, so Chauhan. „Unternehmen müssen die schnelle Amortisierung von KI gegen die reputationsschädigenden und regulatorischen Folgen einer Sicherheitsverletzung abwägen. Der einzige nachhaltige Weg ist daher Safety by Design für KI.“

Lenovo-Sprecher Stuart Gill erklärte gegenüber CSO: „Lenovo nimmt die Sicherheit seiner Produkte und den Schutz seiner Kunden sehr ernst. Ein externer Sicherheitsforscher hat uns kürzlich auf eine Cross-Web site-Scripting-Schwachstelle (XSS) in Chatbots aufmerksam gemacht. Nachdem wir von dem Drawback erfahren hatten, haben wir das Risiko umgehend bewertet und Korrekturmaßnahmen ergriffen, um die potenziellen Auswirkungen zu mindern und das Drawback zu beheben. Wir danken den Forschern für ihre verantwortungsvolle Offenlegung. Dadurch konnten wir eine Lösung bereitstellen, ohne unsere Kunden zu gefährden.“