Seit Jahren lobbyiere ich für einen Rechtsrahmen zur Förderung und Forderung von künstlicher Intelligenz in Europa. Die Europäische Union, als treibende Kraft, hat 2020 das KI-Weißbuch veröffentlicht, 2021 den ersten Entwurf des „Artificial Intelligence Act“ und nun 2022 den zweiten Gesetzesentwurf vorgestellt. Zusätzlich hat die die tschechische Ratspräsidentschaft am 20. Juli 2022 einen neuen Kompromissvorschlag zur europäischen KI-Verordnung veröffentlicht, welchen ich hier ebenso berücksichtige.

In diesem Artikel gehe ich auf die aktuellsten Entwürfe ein (Stand August 2022) und darauf, was dies für uns EU-Bürger, für die Verwaltung und insbesondere für Firmen bedeutet. Dabei erkläre ich, wann eine (Software-)Firma reguliert wird und wie man die neuen Anforderungen erfüllen kann.

Das Europäische Gesetz über künstliche Intelligenz – die Maschinenverordnung

 

Die Grundlage für diesen Artikel bilden die aktuelle Verordnung der Europäischen Kommission zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (PDF) sowie der wichtige Anhang (PDF). Diese Verordnung wurde in den letzten Monaten von rund 1.000 Einzelpersonen, NGOs, Verbänden und Firmen lobbyiert (= Feedback gegeben). Daher ist der geplante nächste rechtliche Schritt, dass die Verordnung Gültigkeit bis Ende 2022 erhält und in den folgenden 36 Monaten zu nationalen Gesetzen formuliert wird. Da die Verordnung ziemlich detailliert ist, erwarte ich eine sehr große Anlehnung des späteren deutschen Gesetzes an diese Vorgaben durch das Bundesministerium für Digitales und Verkehr (BMDV).

Grundsätzlich schafft die EU damit einen Rechtsrahmen, der vorerst nur sehr wenige KI-Anwendungen reguliert, jedoch die Regeln und Prozesse erschafft, um diese Regulierung in Zukunft auszuweiten. Es gibt konkrete Vorstellungen von KI, Klassifizierungen, neue Behörden und Pflichten. Die rund 100+ Seiten habe ich mehrmals gelesen und hier für dich zusammengefasst.

Was ändert sich für uns EU-Bürger?

 

Wir als Nutzer von KI-Software profitieren vorerst am meisten von den kommenden KI-Gesetzen. Die EU beabsichtigt, dass in Europa nur noch KI-Software betrieben wird, welche sicher, wertbasiert, vertrauenswürdig und kontrollierbar ist.

Daher wird es in Zukunft Transparenzpflichten für gewisse KI-Anwendungen geben, wo uns Nutzern eindeutig mitgeteilt werden muss, dass wir

1. mit einer KI interagieren (z. B. Chatbots, aber auch E-Mails und KI-generierte Inhalte),
2. eine KI etwas geändert hat (das gilt insbesondere für Bilder und Videos),
3. hier eine Hochrisiko-KI verwenden (und wir daher Zugriff auf die Dokumentation / Gebrauchsanweisung erhalten).

Gleichzeitig hat die EU-Kommission sehr eindeutig geschrieben, dass gewisse KI-Anwendungen innerhalb von Europa nicht erwünscht sind und daher verboten oder stark reguliert werden:

1. biometrische Analysen und Auswertungen (z. B. Rasterfahndung und Kameraüberwachung),
2. Social Credit Scores (wie in China bereits bestehend),
3. KI-Anwendungen in der Medizin, Bildung, in Rechtsverfahren und Verwaltung.

Ich begrüße diesen Schritt, denn „1984“ ist realer denn je geworden.

Die KI-Behörde – mehr Bürokratie und Verwaltung

 

Im Rahmen des EU AI Acts sind die Mitgliedstaaten beauftragt, eine KI-Aufsichtsbehörde einzurichten bzw. diese mit Befugnissen und Personal einem bestehenden Ministerium einzugliedern. Der Auftrag der KI-Behörde ist es, den Markt zu beobachten, verbotene KI-Systeme zu verhindern, Hochrisiko-KIs zu überwachen, Leitlinien zu entwickeln und den Konformitätsprüfungsprozess zu steuern.

Um die Definition von KI und damit auch die im Anhang beschriebenen KI-Hochrisikoeinstufungen aktuell zu halten, wird die EU einen KI-Ausschuss ins Leben rufen, der die Kommission beraten wird.

Übrigens gelten die KI-Gesetze für jede Firma, die innerhalb und außerhalb der EU ihre KIs betreibt, sobald der Nutzer ein europäischer Bürger ist. Dies gilt auch für im EU-Ausland entwickelte KIs, deren Ergebnisse uns hier in Europa erreichen.

Welche Firmen betreffen die KI-Gesetze nun?

 

Aus meiner Sicht muss jede Firma die neuen KI-Gesetze im Hinterkopf behalten und vorauseilend intern prüfen.

Dankbarerweise hat die EU nur sehr gezielte KI-Anwendungen reguliert und überlässt damit den Großteil von bestehenden und zukünftigen KI-Programmen sich selbst.

Folgende Fragen muss sich jede Firma direkt stellen:

1. Betreiben und entwickeln wir KIs?
2. Nutzen wir KI (entwickelt von anderen Anbietern)?
3. Haben wir irgendwo innerhalb unserer Struktur etwas mit KIs zu tun?

Nun magst Du Dich fragen: Was ist eigentlich künstliche Intelligenz? Dies ist eine philosophisch-technische Frage und die EU hat KI daher wie folgt definiert:

Definition bis August 2022

1. Konzepte des maschinellen Lernens, mit beaufsichtigtem, unbeaufsichtigtem und bestärkendem Lernen unter Verwendung einer breiten Palette von Methoden, einschließlich des tiefen Lernens (Deep Learning);
2. Logik- und wissensgestützte Konzepte, einschließlich Wissensrepräsentation, induktiver (logischer) Programmierung, Wissensgrundlagen, Inferenz- und Deduktionsmaschinen, (symbolischer) Schlussfolgerungs- und Expertensysteme;
3. Statistische Ansätze, Bayessche Schätz-, Such- und Optimierungsmethoden.

Definition ab August 2022

Ein System, das so konzipiert ist, dass es mit einem bestimmten Grad an Autonomie arbeitet und das auf der Grundlage von maschinellen und/oder menschlichen Daten und Eingaben mit Hilfe von maschinellem Lernen und/oder logik- und wissensbasierten Ansätzen ableitet, wie eine bestimmte Reihe von vom Menschen definierten Zielen erreicht werden kann, und das systemgenerierte Ergebnisse wie Inhalte (generative KI-Systeme), Vorhersagen, Empfehlungen oder Entscheidungen erzeugt, die die Umgebung beeinflussen, mit der das KI-System interagiert;

Ich persönlich vermute, dass fast alle gewerblichen Firmen da draußen bereits heute gewisse Formen von KI bewusst oder unbewusst verwenden. Daher ist eine Compliance-Prüfung unerlässlich.

Ich empfehle, dass jede Firma für sich analysiert und bewertet:

1. Ob Software verwendet wird, welche KI-Komponenten hat.
2. Prüft, ob diese Komponenten unter die KI-Regulierung fallen.
3. Intern eine Negativbescheinigung erstellt, welche dokumentiert, wieso man keine regulierungsbedürftigen KI-Komponenten betreibt und verwendet.

Welche künstlichen Intelligenzen werden nun reguliert?

 

Durch den risikobasierten Ansatz der EU-Kommission ist auf den ersten Blick die Anzahl von regulierten KI-Anwendungen angenehm übersichtlich. Jedoch ist zu erwarten, dass die Liste sich über die Jahre erweitern wird.

Folgende Anwendungsfälle werden als Hochrisiko-KI definiert und unterliegen damit strengen Auflagen:

1. biometrische Identifizierung natürlicher Personen (alles, wo KI-Systeme helfen, Menschen zu erkennen, klassifizieren und zu identifizieren),
2. Verwaltung und Betrieb kritischer Infrastruktur (wie Straßenverkehr, Wasser-, Gas-, Wärme- und Stromversorgung),
3. allgemeine und berufliche Bildung (insbesondere wenn KIs über den Zugang zur Bildung entscheiden sowie wenn KIs Bewertungen und Tests auswerten),
4. Personalmanagement (Software, welche die Einstellung und Auswahl von Bewerbern prüft und Einfluss auf Beförderungen / Kündigungen hat),
5. Inanspruchnahme von öffentlichen Diensten und privaten Leistungen (wenn Behörden KIs zur Prüfung von Leistungsansprüchen verwenden, ebenso auch Kreditwürdigkeitsprüfungen und Priorisierung von Nothilfen),
6. Strafverfolgung und Rechtspflege (von der individuellen Risikobewertung bis hin zur Vorhersage von potenziellen Straftaten),
7. Migration, Asyl und Grenzkontrolle (KI-Systeme, die Risiken bewerten, Dokumente überprüfen).

Jede Hochrisiko-KI muss gewisse Auflagen erfüllen, z. B. ein Risikomanagementsystem einrichten, menschliche Aufsicht ermöglichen und eine Konformitätsprüfung durchlaufen.

Welche künstliche Intelligenzen werden verboten?

 

Zu den stark regulierten Hochrisiko-KIs kommen Anwendungen, die eindeutig verboten sind:

1. alles, was Menschen unterschwellig beeinflusst und zu physischem oder psychischem Schaden führt,
2. KI-Systeme, welche die Schwächen und Schutzbedürftigkeit von bestimmten Gruppen ausnutzt und Schaden zufügt,
3. KI-Anwendungen, welche Bewertung/Klassifizierung von Vertrauenswürdigkeit natürlicher Personen durchführt, insbesondere des sozialen Verhaltens und persönlicher Eigenschaften (ich nenne es den „Anti Social Score“),
4. biometrische Echtzeit-(Fern)identifizierung im öffentlichen Raum (es gibt Ausnahmen für die Strafverfolgung, z. B. bei Terroranschlägen und vermissten Kindern).

Weitere Pflichten für bestimmte KI-Systeme

 

Neben den verbotenen Anwendungen und der Hochrisiko-KI gibt es noch bestimmte Anwendungsbereiche, wo es erhöhte Transparenzpflichten gibt.

Ich persönlich finde diese Pflichten super, denn es ärgert mich seit Jahren, dass es im Internet keine klare „Mensch oder Maschine“-Kennzeichnung gibt.

Daher müssen KI-Anwendungen dem Nutzer eindeutig mitteilen, dass es sich hier um eine KI handelt bzw. dass die KI Einfluss genommen hat. Das gilt für:

1. KI-Systeme, die mit natürlichen Personen interagieren (wie Chatbots, Call-Center-Bots, automatisierte E-Mails),
2. Systeme, die Emotionen und Biometrische Merkmale erkennen und auswerten,
3. KIs, welche Bild-, Ton- oder Videoinhalte erzeugen oder manipulieren („Deep Fakes“, doch ebenso Adobe Photoshop, Instagramfilter und Dall-E).

Wie genau diese Transparenzpflichten kontrolliert und überwacht werden, das ist noch unklar. Bußgelder bei Verstoß von bis zu 250.000 EUR sind vorgesehen.

Pflichten und Anforderungen an Hochrisiko-KIs

 

Vorerst sind nur wenige Anwendungsfälle als Hochrisiko-KI definiert, jedoch ermutigt die EU dazu, dass sich alle Anbieter von KIs an die Vorgaben halten. Das bedeutet, selbst wenn Deine Firma heute eine unregulierte KI betreibt, ist es trotzdem ratsam, sich auf eine spätere Vollregulierung vorzubereiten.

Nun kommen wir jedoch zum Eingemachten.

Jede Hochrisiko-KI muss vor Inbetriebnahme ein Konformitätsverfahren bestehen und sich bei der nationalen Aufsichtsbehörde registrieren.

Das Konformitätsbewertungsverfahren wird nicht von der KI-Behörde durchgeführt, sondern von einer dritten Behörde / Stelle / Dienstleister, welche noch zu bestimmen sind.

Zum Bestehen der Konformitätsprüfung braucht es daher für jede Entwicklung und jeden Betrieb von Hochrisiko-KIs Folgendes:

1. Ein Qualitätsmanagementsystem, welches die Einhaltung der EU-Verordnung gewährleistet. Dazu gehören:
   i) ein Risikomanagementsystem,
   ii) Verfahren zur Meldung schwerwiegender Vorfälle und Fehlfunktionen,
   iii) Kommunikation mit zuständigen nationalen Behörden,
   iv) Aufzeichnung aller Unterlagen und Informationen,
   v) Konzepte, wie die Regulierungsvorschriften eingehalten werden,
   vi) Techniken und Verfahren zur Kontrolle der Hochrisiko-KIs,
   vii) Systeme für das Datenmanagement.
2. Das Risikomanagementsystem, welches über den gesamten Lebenszyklus eines KI-Systems Folgendes bewältigt:
   i) Die Analyse aller bekannten und vorhersehbaren Risiken.
   ii) Die Abschätzung von Risiken und Fehlanwendungen.
   iii) Den Ausschluss von Risiken und die notwendigen Maßnahmen.
   iv) Die Kommunikation von Restrisiken an die Nutzer.
   v) Nachweis des Testens der KI, damit diese stets bestimmungsgemäß funktioniert und nicht zweckentfremdet wird.
3. Sobald mit Daten trainiert wird, braucht es ein Daten-Governance-Model. Hierfür muss beachtet werden:
   i) Woher kommen die Daten, wie wurden diese gekennzeichnet, bereinigt, angereichert und aggregiert?
   ii) Informationen über die Verfügbarkeit, Menge und Eignung der Datensätze.
   iii) Untersuchungen zur Vermeidung möglicher Verzerrungen (Bias).
   iv) Nachweis, dass die Trainings-, Validierungs- und Testdaten relevant, fehlerfrei, vollständig und repräsentativ sind.
4. Jede Hochrisiko-KI benötigt zudem eine technische Dokumentation. Diese ist umfassend und die komplette Liste gibt es im Anhang. Folgendes sollte dabei beachtet werden:
   i) Beschreibung des KI-Systems, inklusive der Zweckbestimmung, die genutzte Hardware, den inneren Aufbau und aller Versionen.
   ii) Die Erstellung einer Gebrauchsanweisung.
   iii) Eine detaillierte Beschreibung der einzelnen Bestandteile der KI-Systeme, inklusive der Methoden zur Entwicklung, dem Einsatz vortrainierter Systeme und Werkzeuge, die allgemeine Logik und Klassifizierungsenscheidungen, die Systemarchitektur, Datenblätter und Testverfahren.
   iv) Informationen über die Überwachung und Kontrolle der KI-Systeme.
   v) Das bereits genannte Risikomanagementsystem.
   vi) Alle wesentlichen Änderungen, die an dem KI-System vorgenommen wurden.
   vii) Die Kopie der EU-Konformitätserklärung.
   viii) Die Integration der menschlichen Aufsicht.
5. Die Einhaltung der Aufzeichnungspflichten, insbesondere der automatisierten Aufzeichnung (Protokollierung) aller Vorgänge und Ergebnisse der Hochrisiko-KI (dazu gehören Zeitraum, Datum, Uhrzeit, Eingabedaten, Identitäten beteiligter Personen sowie die Referenzdatenbanken).
6. Die Veröffentlichung der Gebrauchsanweisungen für die Nutzer, welche Folgendes beinhaltet:
   i) Namen und Kontaktdaten des Anbieters,
   ii) die Merkmale, Fähigkeiten und Leistungsgrenzen des Hochrisiko-KI-Systems,
   iii) die Zweckbestimmung sowie Maße an Genauigkeit, Robustheit und Cybersicherheit,
   iv) Auflistung möglicher Risiken, Leistungen und Spezifikationen,
   v) Maßnahmen der menschlichen Aufsicht und die erwartete Lebensdauer des Systems.
7. Zusätzlich müssen alle Hochrisiko-KI-Systeme so entwickelt werden, dass sie wirksam von einer natürlichen Person beaufsichtigt werden können.
   i) Die betreffende Person muss die Fähigkeiten und Grenzen des Systems verstehen und überwachen können, zur Identifizierung von Fehlfunktionen und Anomalien.
   ii) Es braucht eine „Stopptaste“, mit der die KI angehalten werden kann.
   iii) Der Mensch muss die Befugnisse haben, die KI außer Kraft zu setzen oder Entscheidungen rückgängig zu machen.
   iv) Die menschliche Kontrollinstanz darf zugleich nicht einem Automatisierungsbias unterlaufen und muss sich dessen immer bewusst bleiben.
8. Und zu guter Letzt muss die Hochrisiko-KI so entwickelt werden, dass sie einen angemessenen Grad an Cybersicherheit, Genauigkeit und Robustheit
   i) Das bedeutet, die KI muss widerstandsfähig gegenüber Störungen, Fehlern und Unstimmigkeiten sein.
   ii) Es müssen Sicherungs- und Störungssicherheitspläne
   iii) Das System muss widerstandsfähig gegenüber unbefugten Dritten sein.

Pflichten für Firmen, Betreiber, Händler und Marktplätze

 

Diese Pflichten gelten vorerst für alle Firmen, welche Hochrisiko-KIs entwickeln und betreiben wollen. Jedoch müssen alle Händler und Softwaremarktplätze die erforderlichen Dokumente prüfen und das Produkt mit der CE-Konformitätskennzeichnung versehen.

KI-Konformitätsbewertungsverfahren

 

Bisher ist unklar, welche Institution das Konformitätsbewertungsverfahren durchführen wird. Jedenfalls ist vorgesehen, dass die nationale Aufsichtsbehörde nur die Ergebnisse der Prüfung sammelt und diese in eine EU-weite Datenbank stellt. Wir werden demnächst wohl erfahren, welche Firmen / Behörden nun planen, unsere KI-Systeme zu prüfen, insbesondere wenn man beachtet, welches umfassende Fachwissen dafür nötig ist.

Freiwillige Verhaltenskodizes für alle KI-Firmen

 

Die EU-Kommission schlägt ebenso vor, dass sich alle KI-Firmen und KI-Anwendungen einem freiwilligen Verhaltenskodex unterwerfen, welcher an die Auflagen der Hochrisiko-KIs angelehnt ist.

Die Kodizes können von den Firmen und Interessenvertretungen selber aufgestellt werden.

Strafen und Sanktionen bei Missachtung

 

Hier hat sich die EU-Kommission ordentliche Strafen vorbehalten. Je nach Schwere des Vergehens können Geldbußen in Höhe von 6 % des weltweiten Jahresumsatzes erhoben werden. Dies gilt vor allem für verbotene KI-Praktiken sowie für den Betrieb von Hochrisiko-KIs ohne Konformität.

Sollte z. B. gegen die Transparenzpflichten verstoßen werden, sind Geldbußen bis zu 250.000 EUR vorgesehen.

Kosten und Aufwand zur Erfüllung der gesetzlichen Vorgaben

 

Zuerst muss jede Firma prüfen, ob sie intern unter dieses Gesetz fällt. Diese Prüfung ist je nach Größe der Firma übersichtlich und kostengünstig, sollte jedoch immer gemacht werden. Ich nenne es mal die Negativbescheinigung, in der man darlegt, dass man keine Hochrisiko-KIs betreibt.

In ihrer Weltfremdheit erwartet die EU, dass die Einhaltung der Pflichten bis 2025 ca. 4 % des „Wertes“ der KI ausmachen wird. Konkret erwartet die EU-Kommission Kosten in Höhe von bis zu 7.000 EUR sowie weitere 8.000 EUR für die menschliche Aufsicht.

Ich persönlich halte dies für sehr abwegig und schätze die Kosten für die Prüfung einer Hochrisiko-KI auf über 50.000 EUR sowie jährliche Kosten von mindestens einer Person in Höhe von 120.000 EUR für die Aufsichtspflichten.

Was steht NICHT im Gesetz?

 

Ebenso interessant und relevant ist natürlich, was nicht in ein Gesetz geschrieben wurde; und wo später die kreativen Schlupflöcher entstehen werden.

Eindeutig erkennbar ist, dass es keine Regulierung für bevorzugte staatliche KI Anwendungen geben wird (insbesondere im Bereich des Militärs und der Sicherheitspolitik).

Obendrauf gibt es (bewusst) keine Sektorenregulierung. Das bedeutet, dass z.B. der Finanzmarkt und die Gesundheitsbranche nicht zusätzlich mit diesem Gesetz direkt reguliert werden.

Meine Meinung und Einschätzung

 

Wie geschrieben, begrüße ich dieses Gesetz. Es ist grundsätzlich der richtige Schritt und das Maß der Regulierung hätte viel größer sein können.

Sollte man bereits eine Hochrisiko-KI betreiben, hat man jetzt eine Menge Papier zu produzieren. Ich befürchte daher, dass es zu einem massiven Einbruch an Gründungen im Bereich der Hochrisiko-KIs kommt und bestehende Firmen ernsthaft überlegen, diese nicht weiter zu betreiben.

Für Techkonzerne mag die Regulierung eine Formalität sein, doch gerade unser nicht-digitaler Mittelstand könnte nun verzweifeln, weil eine kritische Komponente eines Dienstleisters nun reguliert wird (und daher vielleicht außer Betrieb genommen wird).

Zudem glaube ich, dass der Wettbewerb innerhalb der Hochrisiko-KI-Fälle massiv reduziert wird, denn nur wenige Firmen haben das Fachwissen sowie die Ressourcen, eine Hochrisiko-KI zu betreiben.

Des Weiteren bin ich sehr gespannt, wie die Transparenzpflichten kontrolliert werden, welche nun für Chatbots und KI-generierte Medieninhalte gelten werden.

Ebenso bin ich neugierig auf den deutschen Gesetzesentwurf, die Benennung der nationalen Aufsichtsbehörde und der darauffolgenden neuen Behördenstellen.

Zusätzlich schätze ich, dass die Umsetzung der Konformitätsprüfung von einem bzw. mehreren Konsortien durchgeführt werden wird. Hier erwarte ich, dass sich der TÜV/die DEKRA sowie die ganzen Beratungsfirmen bewerben werden.

Wie ich Dir helfen kann

 

Bist Du Dir unsicher, in welche Kategorie Deine KI fällt? Dann schreibe mir einfach mal eine Nachricht. Kostenfrei gebe ich Dir gerne eine Ersteinschätzung.

Dazu unterstütze ich gerne bei der Erstellung einer Negativbescheinigung und/oder gehe mit Euch zusammen durch den Prozess der Vorbereitung der anstehenden Konformitätsprüfung.

Updates seit Veröffentlichung

 

Da die Gesetzgebung working progress ist, wird es nachwievor Änderungen geben.

Der nächste Meilenstein ist der 02.09.2022, wenn die nächste Version des AU EU Acts veröffentlicht (politisch wird es „ein Kompromiss“ genannt).