Warum ML einen besonderen Umgang mit Cybersicherheit erfordert

Die Schnittfläche von Machine Learning (ML) und Cybersecurity ist beträchtlich. Mit ML lassen sich Computersysteme angreifen, etwa durch die automatische Entdeckung von Schwachstellen oder das Erzeugen von Phishing-E-Mails. Zugleich werden ML-Funktionen wie die Erkennung von Anomalien und unbefugtem Netzzugang oder Spam-Filter genutzt, um Computersysteme zu schützen, indem sie Muster prüfen, z.B. wie sich jemand anmeldet oder sein Passwort eintippt. 

In diesem Artikel befassen wir uns mit Adversarial ML, d.h. jene Arten von Angriffen, auf die ML-Systeme anfällig sein können. Wir schauen uns die drei gängigsten Angriffsarten an, deren Ziel es ist, ein ML-System zu kompromittieren und es dazu zu verleiten, falsche Ergebnisse zu erzeugen oder vertrauliche Informationen preiszugeben. Doch zunächst ein paar Hintergrundinfos.

Das Risikobewusstsein von Unternehmen ist noch nicht sehr ausgeprägt

Schlagzeilen über Ransomware machen deutlich, dass die Risiken für Unternehmen mit der verstärkten Digitalisierung von Kernprozessen steigen. Was überrascht: Zahlreiche Unternehmen befassen sich nicht ansatzweise mit Cybersecurity oder «hatten bisher noch nicht die Zeit dazu». Kein Wunder also, dass sich Cyberkriminalität lohnt.

ML hat sich in den letzten Jahren rasant weiterentwickelt – proportional dazu haben sich die Erkenntnisse über Angriffe und Schwachstellen vermehrt. Schwachstellen von ML wurden bereits vereinzelt ausgenutzt und es ist nur eine Frage der Zeit, bis das Problem verbreitet auftritt. Adnovum versucht diese Trends stets zu antizipieren und sicherzustellen, dass sie zu solch brandaktuellen Themen Unterstützung bieten kann.

Wie spielen ML und Cybersecurity zusammen?

Wenn man ein ML-Modell trainiert, verlässt man sich darauf, dass ein Algorithmus optimal funktioniert und das Problem bestmöglich löst, indem er «einfach» die Daten betrachtet. Dies bedeutet in den meisten Fällen, kommentierte Beispiele bereitzustellen, damit das Modell künftige Beispiele richtig klassifiziert. Wie hängt das nun mit der Cybersicherheit zusammen? Die Logik oder die Software, die unser Computer ausführt, um Entscheidungen zu treffen, war bisher von Menschen für Menschen gemacht, d.h. Code. Neu haben wir eine Reihe von Gewichtungen und Parametern, die Berechnungen durchführen und ein Ergebnis liefern.

Bei normaler Software wird ein Fehler erkannt, ein Testfall erstellt und der Code angepasst. Bei ML ist eine statische Analyse so gut wie unmöglich. Hinzu kommt, dass ML auf Wahrscheinlichkeiten basiert: Selbst bei einem Modell mit einer Genauigkeit von 99% ist eine von 100 Voraussagen falsch. ML-Parameter sind nicht nur schwierig zu interpretieren, sie gehen auch in die Millionen oder Milliarden, vor allem bei grösseren Modellen, die sich mit Computer Vision und Natural Language Processing befassen. Das bedeutet, dass wir nur eine begrenzte Kontrolle über die Mechanismen haben, auf die die Cybersecurity normalerweise abstützt. 

Mit welchen Arten von Angriffen haben wir es also zu tun? Im Folgenden stellen wir die drei wichtigsten vor: Data-Poisoning-, Adversarial-Input- und Model-Privacy-Angriffe. Ihnen allen ist gemein, dass Angreifer keinen direkten Zugriff auf das Modell haben, sondern einfach Interaktionsmuster ausnutzen.

Data Poisoning

Bei Data Poisoning versucht ein Angreifer falsche Daten bereitzustellen, damit das ML-Modell so trainiert wird, dass es fehlerhafte Vorhersagen macht. 

Das kann auf verschiedene Arten gelingen, z.B. durch Ausnutzen von Feedback, das das Modell verbessern soll. Ein Beispiel: Würde Gmail blind allen Spam-/Nicht-Spam-Meldungen von Nutzern vertrauen, würde es nicht lange dauern, das Modell so zu beeinflussen, dass es bestimmte Spam-Mails durchlässt oder die Mails eines Konkurrenten zurückweist. Ein bekanntes Beispiel für Data Poisoning ist der von Microsoft entwickelte Bot «Tay» auf Twitter. Er «lernte» aus Gesprächen mit Nutzern und begann sich nach kurzer Zeit unangemessen zu verhalten. 

Ein Data-Poisoning-Angriff kann dazu dienen, eine Backdoor einzurichten, sodass die kompromittierten Daten zu subtilen Fehlern in den Vorhersagen des Modells führen, die unentdeckt bleiben. 

Adversarial Inputs

Bei Adversarial Input geht es darum, Daten so zu gestalten, dass sie falsch klassifiziert werden. Kleine Änderungen, die ein Mensch kaum wahrnimmt (z.B. Hintergrundgeräusche oder eine leichte Störung), können den Algorithmus so beeinflussen, dass er nicht mehr richtig funktioniert. Adversarial Input kann massive Auswirkungen auf reale Systeme haben.

Eine aktuelles Beispiel sind Autopiloten von Fahrzeugen. Interpretiert das System Verkehrsschilder falsch, drohen verheerende Folgen. Denn nur schon gezielte kleine Veränderungen wie ein Post-it auf einem Stoppschild führen dazu, dass das System Daten falsch klassifiziert. Mit dem Bewusstsein für die Gefahren nimmt glücklicherweise auch die Robustheit der Modelle zu.

Adversarial-Input-Angriffe sind normalerweise erfolgreich, weil ML-Modelle mehr sehen und hören als Menschen. Sie nehmen verschiedenste Muster wahr, die den Daten zugrunde liegen … und sich ausnutzen lassen. 

Model Privacy

Es ist auch denkbar, dass das ML-Modell selbst angegriffen wird. Dabei versuchen die Angreifer aber nicht, es zu falschen Klassifizierungen zu verleiten, sondern Informationen über die Trainingsdaten des Modells zu erhalten. Daten können bedeutendes und sensitives geistiges Eigentum darstellen (z.B. persönliche Gesundheitsdaten). Forscher haben gezeigt, dass es möglich ist herauszufinden, ob gewisse Daten zu Trainingszwecken genutzt wurden, und sogar komplexe Trainingsdaten wie Gesichter grob nachzubilden. Es gibt mehrere Ansätze, um dieses Problem zu lösen. Sie können sich jedoch auf die Metriken des Modells auswirken.

Angreifer können nicht nur Trainingsdaten stehlen oder einen Blick darauf erhaschen, sondern auch das Modell selbst entwenden. Indem sie ein über die Jahre entwickeltes Modell mit Anfragen und Beispielen bombardieren, ist es ihnen unter Umständen möglich, im Nu ein neues Modell mit denselben Fähigkeiten zu entwickeln.

Wie soll man auf ML-Bedrohungen reagieren?

Mit ML-Projekten gehen gewisse Gefahren einher. Denn Unternehmen bieten potenziellen Hackern diverse Angriffsflächen. Zur Erinnerung: Allen drei aufgeführten Beispielen ist gemein, dass Angreifer keinen direkten Zugriff auf das Modell haben, sondern einfach Interaktionsmuster ausnutzen. Beunruhigend? Ja. Die gute Nachricht: Es gibt Möglichkeiten, Ihr Unternehmen zu schützen. Wie, verraten wir in Kürze.

Kontaktieren Sie uns, wenn Sie mehr über Machine Learning erfahren möchten!