07311 Datenverarbeitung durch KI – Herausforderungen
|
Dieser Beitrag beleuchtet die Herausforderungen und Risiken der Datenverarbeitung in der Ära der Künstlichen Intelligenz (KI). Besonders die Intransparenz von generativen KI-Systemen birgt große Gefahren. Die neuen Angriffsvektoren wie Evasion-Attacks und Data Poisoning werden fachkundig erklärt. Sie erfahren, warum technische und organisatorische Maßnahmen dringend ergriffen werden sollten, um Datenschutz und Sicherheit zu gewährleisten. von: |
1 Grundsätzliches zum Datenschutz und KI
Bei KI und dem KI-Einsatz gilt es je nach eingenommener „Rolle” bei der Verarbeitung, mannigfaltige rechtliche und insbesondere auch technische/organisatorische Herausforderungen zu meistern. Die größten datenschutzrechtlichen Herausforderungen resultieren, jedenfalls bei generativer KI (Deep Learning), aus der mangelnden Transparenz der Datenverarbeitung. Das macht es wiederum für einen Verantwortlichen, wie ein Unternehmen, das „KI” einsetzen oder entwickeln will, sehr anspruchsvoll, die obliegenden datenschutzrechtlichen Pflichten vollumfänglich zu erfüllen.
Risiko steigt durch Intransparenz
Es gilt der Grundsatz, dass je höher der Digitalisierungsgrad (Komplexität) der Anwendung ist, umso größer wird die Intransparenz der Verarbeitung. Mit dem Ansteigen der Intransparenz wachsen automatisch die Risiken für den Betroffenen, insbesondere die Möglichkeit zur Durchsetzung seiner Rechte. Je größer die Risiken sind, umso höher müssen daher Anforderungen sein, die ein Verantwortlicher beim Einsatz von KI zu erfüllen hat, um die Risiken in einem vertretbaren Rahmen zu halten. Dies wird auch sehr deutlich im Positionspapier der DSK zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und dem Betrieb von KI-Systemen herausgehoben [1].
Es gilt der Grundsatz, dass je höher der Digitalisierungsgrad (Komplexität) der Anwendung ist, umso größer wird die Intransparenz der Verarbeitung. Mit dem Ansteigen der Intransparenz wachsen automatisch die Risiken für den Betroffenen, insbesondere die Möglichkeit zur Durchsetzung seiner Rechte. Je größer die Risiken sind, umso höher müssen daher Anforderungen sein, die ein Verantwortlicher beim Einsatz von KI zu erfüllen hat, um die Risiken in einem vertretbaren Rahmen zu halten. Dies wird auch sehr deutlich im Positionspapier der DSK zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und dem Betrieb von KI-Systemen herausgehoben [1].
KI übernimmt Kontrolle?
Zugegebenermaßen erscheinen die Forderungen der DSK auf den ersten Blick komplett übertrieben und oftmals auch realitätsfern. Diese vermeintlich übertrieben erscheinenden Anforderungen werden jedoch schnell nachvollziehbar, wenn man die Risiken betrachtet für die von der Datenverarbeitung betroffenen Menschen, also uns selbst und unser Leben. Dabei gilt es, sich offen und ehrlich damit auseinanderzusetzen, dass eine Kunstintelligenz durch den stetig zunehmenden Einsatz von KI in allen Lebensbereichen, immer mehr die Kontrolle über eine natürliche Intelligenz (uns) erhalten soll. Diese „KI” soll dann immer mehr über diese natürliche Intelligenz entscheiden und diese gegebenenfalls sogar steuern, damit alles im „korrekten, klar vorgegebenen Rahmen” abläuft. Damit besteht die Gefahr, dass der oft so hoch gepriesene freie Wille der Menschen und die Übernahme der Selbstverantwortung komplett durch Entscheidungen einer Kunstintelligenz ersetzt werden.
Zugegebenermaßen erscheinen die Forderungen der DSK auf den ersten Blick komplett übertrieben und oftmals auch realitätsfern. Diese vermeintlich übertrieben erscheinenden Anforderungen werden jedoch schnell nachvollziehbar, wenn man die Risiken betrachtet für die von der Datenverarbeitung betroffenen Menschen, also uns selbst und unser Leben. Dabei gilt es, sich offen und ehrlich damit auseinanderzusetzen, dass eine Kunstintelligenz durch den stetig zunehmenden Einsatz von KI in allen Lebensbereichen, immer mehr die Kontrolle über eine natürliche Intelligenz (uns) erhalten soll. Diese „KI” soll dann immer mehr über diese natürliche Intelligenz entscheiden und diese gegebenenfalls sogar steuern, damit alles im „korrekten, klar vorgegebenen Rahmen” abläuft. Damit besteht die Gefahr, dass der oft so hoch gepriesene freie Wille der Menschen und die Übernahme der Selbstverantwortung komplett durch Entscheidungen einer Kunstintelligenz ersetzt werden.
Schutz der Menschlichkeit
Gerade weil damit, auch wenn es ein wenig „platt” klingen mag, der „Tod” (die Kunstintelligenz) über das Leben bestimmen soll, ist es notwendig, dass dies in einem stark regulierten Umfang erfolgen muss. Der Betroffene, was ja auch das Bundesverfassungsgericht immer wieder eindringlich betont hat, darf nicht zum „dinglichen Objekt” beziehungsweise zur „Sache” degradiert werden. Es ist daher faktisch verboten, ihn wie eine Sache zu behandeln und somit den Entscheidungen einer KI schutzlos auszuliefern. Mithin gilt es beim KI-Einsatz den Menschen und das Menschsein zu schützen. Das wird jedoch zunehmend schwieriger, insbesondere aufgrund der absoluten Intransparenz der Datenverarbeitung. Denn man muss ehrlicherweise sagen, dass angesichts
Gerade weil damit, auch wenn es ein wenig „platt” klingen mag, der „Tod” (die Kunstintelligenz) über das Leben bestimmen soll, ist es notwendig, dass dies in einem stark regulierten Umfang erfolgen muss. Der Betroffene, was ja auch das Bundesverfassungsgericht immer wieder eindringlich betont hat, darf nicht zum „dinglichen Objekt” beziehungsweise zur „Sache” degradiert werden. Es ist daher faktisch verboten, ihn wie eine Sache zu behandeln und somit den Entscheidungen einer KI schutzlos auszuliefern. Mithin gilt es beim KI-Einsatz den Menschen und das Menschsein zu schützen. Das wird jedoch zunehmend schwieriger, insbesondere aufgrund der absoluten Intransparenz der Datenverarbeitung. Denn man muss ehrlicherweise sagen, dass angesichts
| • | des „Dschungels” an bereits eingesetzten KI-Systemen/-Modellen (LLM), |
| • | der nicht mehr zu stoppenden Entwicklungsdynamik, |
| • | der absoluten Intransparenz der Datenverarbeitung, |
| • | sowie dem Einsatz von bereits vortrainierten KI-Lösungen, |
das Thema praktisch nicht mehr handhabbar ist.
Das von der DSK veröffentlichte Dokument stammt aus dem Jahr 2019 und damit aus einer Zeit, in der der KI-Einsatz offiziell noch nicht so stark verbreitet war. Damit erschien das Thema damals noch scheinbar halbwegs rechtskonform abbildbar, was heute jedoch immer illusorischer erscheint.
Nachweis der Sorgfalt
Um jedoch nicht gleich die Flinte ins Korn zu werfen und dem Datenschutz beim KI-Einsatz im gebotenen Umfang Genüge zu tun, sollte ein Verantwortlicher darauf achten, dass er jedenfalls „auf dem Papier” noch entsprechende Informationen erhält, um nachweisen zu können, dass er bei der Auswahl der Lösung die datenschutzrechtlichen Prinzipien beachtet und den KI-Anbieter auch entsprechend sorgfältig ausgewählt hat. Er sollte daher demonstrieren können, dass er sich der besonderen Herausforderungen des KI-Einsatzes bewusst war und dies sich auch in der Auswahl des Anbieters sowie der von ihm getroffenen technischen und organisatorischen Maßnahmen widerspiegelt.
Um jedoch nicht gleich die Flinte ins Korn zu werfen und dem Datenschutz beim KI-Einsatz im gebotenen Umfang Genüge zu tun, sollte ein Verantwortlicher darauf achten, dass er jedenfalls „auf dem Papier” noch entsprechende Informationen erhält, um nachweisen zu können, dass er bei der Auswahl der Lösung die datenschutzrechtlichen Prinzipien beachtet und den KI-Anbieter auch entsprechend sorgfältig ausgewählt hat. Er sollte daher demonstrieren können, dass er sich der besonderen Herausforderungen des KI-Einsatzes bewusst war und dies sich auch in der Auswahl des Anbieters sowie der von ihm getroffenen technischen und organisatorischen Maßnahmen widerspiegelt.
Verantwortung der KI-Anbieter
Gerade aufgrund der bei einer generativen KI systemimmanenten Intransparenz steht ein KI-Anbieter, der auch die KI designt und vortrainiert hat, besonders in der Pflicht nachzuweisen, dass er das Vertrauen des Nutzenden (z. B. eines Unternehmens oder Verbrauchers) auch verdient und seine „KI” die Daten der Betroffenen „fair” verarbeitet. Insbesondere beim Einsatz von KI in hochsensiblen Bereichen wie etwa im Gesundheitswesen, ist es unbedingt notwendig, auf die jeweilige Verarbeitung passende beziehungsweise zugeschnittene Verträge abzuschließen, die insbesondere auch die Verantwortlichkeiten ausreichend berücksichtigen.
Gerade aufgrund der bei einer generativen KI systemimmanenten Intransparenz steht ein KI-Anbieter, der auch die KI designt und vortrainiert hat, besonders in der Pflicht nachzuweisen, dass er das Vertrauen des Nutzenden (z. B. eines Unternehmens oder Verbrauchers) auch verdient und seine „KI” die Daten der Betroffenen „fair” verarbeitet. Insbesondere beim Einsatz von KI in hochsensiblen Bereichen wie etwa im Gesundheitswesen, ist es unbedingt notwendig, auf die jeweilige Verarbeitung passende beziehungsweise zugeschnittene Verträge abzuschließen, die insbesondere auch die Verantwortlichkeiten ausreichend berücksichtigen.
Auftragsverarbeitung
Es sei bereits darauf hingewiesen, dass die Auftragsverarbeitungskonstruktion in der Praxis oftmals nicht durchgehend passt, weil sie faktisch nicht die Verarbeitungsrealität abbildet. Denn vielfach werden von kleinen KI-Anbietern „Unterauftragsverarbeiter” wie Google, Microsoft und Co. eingesetzt, die sich aufgrund ihrer „Macht” faktisch nicht vorschreiben lassen, wie sie die „Daten” beziehungsweise die „trainierten Zustände” selbst weiterverarbeiten.
Es sei bereits darauf hingewiesen, dass die Auftragsverarbeitungskonstruktion in der Praxis oftmals nicht durchgehend passt, weil sie faktisch nicht die Verarbeitungsrealität abbildet. Denn vielfach werden von kleinen KI-Anbietern „Unterauftragsverarbeiter” wie Google, Microsoft und Co. eingesetzt, die sich aufgrund ihrer „Macht” faktisch nicht vorschreiben lassen, wie sie die „Daten” beziehungsweise die „trainierten Zustände” selbst weiterverarbeiten.
Vorsicht bei nicht EU-Anbietern
Gerade weil es nun zu einem politischen Umschwung in Amerika gekommen ist, ist absehbar, dass die Gewährleistung der nationalen Sicherheit von Amerika oberste Priorität haben wird (America first). Damit erscheint es wahrscheinlich, dass die amerikanischen Anbieter immer mehr verpflichtet sein werden, auch die Daten von Europäern, die auf ihren Servern verarbeitet werden, im Sinne von America first zu verarbeiten. Deshalb ist es auch nicht unwahrscheinlich, dass die europäischen Interessen für die amerikanischen Unternehmen nur noch sekundär von Bedeutung sind und sich die Spannungen zwischen der EU und Amerika wieder verstärken werden. Damit muss der Einsatz amerikanischer KI-Anbieter beziehungsweise „amerikanischer Unterauftragnehmer” nun wieder ganz besonders kritisch bewertet werden.
Gerade weil es nun zu einem politischen Umschwung in Amerika gekommen ist, ist absehbar, dass die Gewährleistung der nationalen Sicherheit von Amerika oberste Priorität haben wird (America first). Damit erscheint es wahrscheinlich, dass die amerikanischen Anbieter immer mehr verpflichtet sein werden, auch die Daten von Europäern, die auf ihren Servern verarbeitet werden, im Sinne von America first zu verarbeiten. Deshalb ist es auch nicht unwahrscheinlich, dass die europäischen Interessen für die amerikanischen Unternehmen nur noch sekundär von Bedeutung sind und sich die Spannungen zwischen der EU und Amerika wieder verstärken werden. Damit muss der Einsatz amerikanischer KI-Anbieter beziehungsweise „amerikanischer Unterauftragnehmer” nun wieder ganz besonders kritisch bewertet werden.
Schutz von Daten
Weil der Schutz von Daten vor und bei KI immer mehr in den Fokus treten wird, sind die von der DSK geforderten Maßnahmen daher in keinem Falle obsolet. Vielmehr sollten sie praxiskonform interpretiert werden. Die Umsetzung dieser Anforderungen kann nicht nur aus Datenschutzsicht hilfreich sein. Denn vieles, was die DSK fordert, betrifft auch die „Sicherheit” im Sinne von „safety” und „security”, mithin also das umfassende Gebiet des „Schutzes von Daten” (vgl. Kap. 07800).
Weil der Schutz von Daten vor und bei KI immer mehr in den Fokus treten wird, sind die von der DSK geforderten Maßnahmen daher in keinem Falle obsolet. Vielmehr sollten sie praxiskonform interpretiert werden. Die Umsetzung dieser Anforderungen kann nicht nur aus Datenschutzsicht hilfreich sein. Denn vieles, was die DSK fordert, betrifft auch die „Sicherheit” im Sinne von „safety” und „security”, mithin also das umfassende Gebiet des „Schutzes von Daten” (vgl. Kap. 07800).
Beim Einsatz von KI muss man sich bewusst sein, dass sich ganz neue, oft noch unbekannte Angriffsvektoren und Bedrohungen ergeben können. Dies sollte man insbesondere beim Design einer KI-Anwendung bedenken.
2 Angriffsvektoren und Bedrohungen
Der Einsatz von KI bringt neben den „traditionellen” und in diesem Werk umfassend dargestellten Angriffsszenarien auf IT, je nach Ausgestaltung, weitere Angriffsszenarien mit sich, die man kennen und entsprechend in seinem Risikomanagement sowie im Design von KI berücksichtigen sollte. Dies insbesondere immer dann, wenn die KI von „außen”, beispielsweise aus dem Internet, verfügbar sein soll. Da diese neuen Angriffsszenarien sowie die zu ergreifenden Abwehrmechanismen noch weitgehend unbekannt sind, wird nachfolgend nur ein kurzer Einblick in die relevantesten Angriffe gegeben. Zu Beschreibung der zu ergreifenden Maßnahmen bedarf es eines eigenständigen Beitrags.