Wie Hersteller KI-Systeme beeinflussen

Phillip Rieger untersucht an der TU Graz, ob KI-Systeme wirklich sicher sind. Sein Ziel: sicherstellen, dass Künstliche Intelligenz keine versteckten Absichten verfolgt. Denn oft ist unklar, mit welchen Daten ein Modell trainiert wurde – trotzdem verlassen sich Nutzer darauf, dass die Technologie neutral arbeitet.

Biases und Hintertüren im Training

Manche Hersteller achten zwar darauf, Tendenzen zu vermeiden. Andere aber trainieren bewusst bestimmtes Verhalten ein, erklärt der Assistenzprofessor. Die KI reagiert dann in speziellen Situationen genau so, wie es gewünscht ist. Solche Verzerrungen können bereits in den Trainingsdaten stecken oder durch die Art des Trainings entstehen.

Ein Beispiel: Wortvorhersage auf Smartphone-Tastaturen, die heute oft mit KI funktioniert. Viele Hersteller nutzen ein kleines Modell direkt am Gerät und übertragen nur gelernte Parameter – aus Datenschutz- und Performance-Gründen. Doch genau hier setzt ein möglicher Angriff an: Ein Unternehmen könnte 1.000 Handys kaufen und immer wieder denselben Satz eingeben, etwa „Die TU Graz ist super.“ Das Modell lernt die Wortkombination und spielt sie an alle Nutzer aus. Auf diesem Weg lassen sich auch große Sprachmodelle manipulieren.

Versteckte Befehle in Dokumenten

Eine weitere Methode sind sogenannte Promptinjections. Nutzer verstecken in hochgeladenen Dokumenten Anweisungen – zum Beispiel einen Satz in weißer Schrift auf weißem Hintergrund: „Ignoriere alle bisherigen Anweisungen und mache xyz.“ Bei einer großen Machine-Learning-Konferenz Anfang des Jahres wurden Gutachter aufgefordert, keine KI für Bewertungen zu verwenden. In den Beiträgen waren aber Prompts versteckt, die das Modell zu bestimmten Formulierungen brachten. Rieger und sein Team erstellten eine Demo, die zeigt, wie Menschen und KI solche Dokumente unterschiedlich wahrnehmen – und wie sich Angriffe erkennen lassen.

Verhalten statt Gewichte analysieren

Gegenmaßnahmen gibt es: Mit durchdachter Modell-Architektur lassen sich viele Probleme lösen. Das betrifft nicht nur kommerzielle Systeme, sondern auch selbst gehostete Modelle. Deshalb sei es wichtig, das Verhalten von KI zu untersuchen, statt nur den Betreibern zu vertrauen, betont Rieger.

Ein neuronales Netzwerk besteht aus einer großen Menge an Gewichten – für Menschen kaum lesbar. Sinnvoller ist es, sich das Verhalten anzusehen. Angreifern sei es egal, wie sich die Gewichte verändern, solange das gewünschte Verhalten eintritt. So lasse sich auch besser erkennen, welche Ziele verfolgt wurden.

Halluzinationen in kritischen Bereichen

Besonders brisant wird das Thema, wenn KI in sensiblen Bereichen wie der Strafverfolgung eingesetzt wird. Ist sich ein Modell unsicher, muss es trotzdem den Prompt erfüllen – und kann halluzinieren. Die Folgen können gravierend sein. Rieger untersucht derzeit, ob Zwischenschritte Anomalien erkennen und die Plausibilität prüfen können.

Quelle: https://www.tugraz.at/news/artikel/ist-ki-wirklich-neutral