KI made in Europe: Wie Regulierung zum Wettbewerbsvorteil werden kann
mit Fabian Malms, Leiter des KI.NRW Flagship-Projekts „Zertifizierte KI“ am Fraunhofer Institut IAIS
Darum geht's in dieser Folge
Vertrauen und Regulierung sind Kernthemen, wenn wir über KI sprechen. Wer KI-Tools nutzen soll, muss ihnen vertrauen können. Gleichzeitig braucht es Leitplanken, damit neue Technologien nicht ungeprüft auf den Markt kommen. Genau da setzt das Projekt „Zertifizierte KI“ an. In einem interdisziplinären Konsortium aus Forschung, Wirtschaft und Standardisierung werden Prüfkriterien entwickelt, die für höhere Qualität und mehr Zuversicht in die Systeme sorgen sollen. Sie können sich die Zertifizierung vorstellen, wie eine TÜV-Plakette, die uns zeigt: „Dieses KI-System wurde nach dem dafür angemessenen Standard geprüft“. Darüber haben wir mit Fabian Malms vom Fraunhofer Institut IAIS gesprochen. Er ist der festen Überzeugung: „Der echte Business Value von KI kann erst entstehen, wenn die KI auf Qualität überprüft wurde.“
Fabian Malms ist Projektleiter für vertrauenswürdige KI und AI Governance am Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS. Er leitet u. a. das KI.NRW Flagship-Projekt „Zertifizierte KI“ und entwickelt gemeinsam mit Partnern wie dem BSI und DIN Prüfverfahren, mit denen Unternehmen die Qualität und Vertrauenswürdigkeit ihrer KI-Anwendungen sichern und die Anforderungen des EU AI Act umsetzen können.
Unsichere KI
Warum KI-Systeme geprüft werden müssen
Würden Sie sich in ein selbstfahrendes Taxi setzen? In den USA sind autonom fahrende Autos längst Alltag. In Deutschland sind sie nicht erlaubt, weil das Risiko noch zu groß ist. Wenn ein solches KI-System einen Fehler macht, kann das zu Verletzungen und im schlimmsten Fall auch zu tödlichen Unfällen führen. Fabian Malms nennt dafür sogar einen Begriff, der in der Branche kursiert: „Death by AI“ – Todesfälle, die durch fehlerhafte KI-Systeme verursacht werden.
Es geht aber nicht nur um die körperliche Unversehrtheit, auch auf anderen Ebenen brauchen wir hohe Sicherheitsstandards für KI-Systeme. Fabian nennt als Beispiel die Kreditvergabe bei einer Bank: Wenn das KI-System entscheidet, wer kreditwürdig ist und wer nicht, können solche Entscheidungen diskriminierend sein und damit Grundrechte verletzen.
Zwei sehr unterschiedliche Schadensszenarien, die eines gemeinsam haben: Ihre Wahrscheinlichkeit hängt direkt davon ab, wie gründlich ein System getestet und validiert wurde. Laut Fabian Malms liegt die Verantwortung dafür klar beim Anbieter: „Es liegt im Interesse jeder Firma, die solche Produkte auf den Markt bringt, dass diese ausgiebig getestet wurden und zukünftig auch zertifiziert werden, um Schäden zu minimieren.“
Vertrauen und Akzeptanz
Mangelndes Vertrauen hemmt die KI-Nutzung in Unternehmen
Jede Technologie, die sich in der Gesellschaft durchsetzen soll, muss ihr Vertrauen haben. Bei KI ist das noch nicht selbstverständlich. Mangelndes Vertrauen ist einer der häufigsten Gründe, warum KI in Unternehmen noch nicht genutzt wird.
Für Fabian Malms ist diese Skepsis aber ganz normal. Es gebe immer Menschen, die neue Technologien direkt ausprobieren und integrieren wollen und andere, die erstmal abwarten. Seine Empfehlung: „Jeder, der die Möglichkeit hat, KI zu nutzen, sollte sie ausprobieren. Dann macht man sehr spannende und interessante Erfahrungen.“ KI biete ein hohes Potenzial, Prozesse zu verschlanken und im Arbeitsalltag zu unterstützen.
Allerdings macht es einen Unterschied, in welchem Kontext KI eingesetzt wird. Als Organisation sollte man geprüft haben, welche Tools den Mitarbeitenden zur Verfügung gestellt werden und in welchen Bereichen sie genutzt werden sollen. Malms erklärt: „Wenn es im HR-Bereich zur Selektion von Bewerbern genutzt wird, hat das ganz andere Implikationen, als wenn ich es nutze, um mir einen Journalartikel zusammenzufassen.“
Ein zentraler Grund für Misstrauen ist der Datenschutz. Was passiert mit den Daten, die in ein KI-System eingegeben werden? Und sind die Ergebnisse, die ein KI-System produziert, verlässlich oder wurde halluziniert? Wenn solche Ergebnisse ungeprüft weiterverwendet werden, kann das kritisch sein.
Wie lässt sich dieses Vertrauen aufbauen? Die Antwort liegt in der Qualität der Systeme selbst.
Regulierung als Vorteil
Europas Chance: Standards statt „Wilder Westen“
Der wirkliche Wert von KI zeigt sich erst, wenn man ihr vertrauen kann. Malms bringt es auf den Punkt: „Der wirkliche Business Value von KI kann erst entstehen, wenn die KI-Qualität entsprechend geprüft wurde.“ Das sei keine externe Pflicht, sondern sollte zur intrinsischen Motivation jedes Unternehmens gehören. Denn wer verlässliche, faire und transparente Systeme entwickelt, bringt am Ende schlicht das bessere Produkt auf den Markt.
Genau hier könnte Europa eine besondere Rolle spielen. Während in den USA das Prinzip gilt: erst veröffentlichen, dann schauen was passiert, setzt Europa auf einen anderen Ansatz: Weniger „Wilder Westen“, mehr vorausschauendes Testen und ein sicherheitsbewusster Umgang.
Für Fabian sind wir auf einem guten Weg: „Durch die KI-Verordnung wurde in Europa viel nachgedacht. Viele Förderprojekte sind entstanden, Forschungseinrichtungen, Universitäten und die Industrie haben sich mit dem Thema auseinandergesetzt. Von daher ist das ein Feld, in dem Europa Vorreiter ist.“
Einheitliche, qualitätsgesicherte Standards könnten gut geprüfte KI-Systeme zum europäischen Exportgut machen. Dadurch entstünde ein echter Wettbewerbsvorteil durch höheres Vertrauen.
Qualität und Wirtschaftlichkeit
Welche Fragen die Prüfung beantworten muss
Im Rahmen des Projekts „Zertifizierte KI“ haben Fabian Malms und das Projektteam konkrete Prüfkriterien entwickelt, anhand derer KI-Systeme künftig systematisch bewertet werden können. Der Katalog umfasst sechs Dimensionen: Fairness, Transparenz, Verlässlichkeit, Sicherheit, Datenschutz sowie Autonomie und Kontrolle.
Was bedeuten diese Kriterien in der Praxis?
Beispiel Transparenz: Transparenz bedeutet nicht, dass ein KI-System vollständig erklärbar sein muss, wohl aber, dass seine Ergebnisse für die Menschen, die damit arbeiten, verständlich und interpretierbar sind. Stuft eine KI eine Person als kreditunwürdig ein, muss der Bankmitarbeiter diese Einschätzung nachvollziehen können. Die Angestellten müssen entsprechend geschult sein: „Die Anwender müssen fähig sein, die Outputs der KI zu verstehen, zu interpretieren und angemessen zu nutzen.“ so Fabian Malms.
Oder Beispiel Autonomie und Kontrolle: Der AI-Act schreibt in Artikel 14 eine wirksame menschliche Aufsicht über KI-Systeme vor. Was das konkret bedeutet, zeigt Fabian am Beispiel eines KI-Systems, das Elterngeldanträge bearbeitet: Läuft der Prozess vollständig automatisiert, können Fehler oder Diskriminierung unbemerkt bleiben. Eine menschliche Kontrollinstanz im Prozess ist deshalb nicht Bürokratie, sondern Absicherung.
Wie intensiv ein KI-System geprüft werden muss, hängt vom Risiko ab. Der AI-Act unterscheidet hier klar: Systeme in der kritischen Infrastruktur oder bei der Kreditvergabe fallen in den Hochrisikobereich und unterliegen strengen Anforderungen. Schätzungen zufolge betrifft das aber nur 5 bis 10 Prozent aller KI-Systeme auf dem Markt. Malms gibt Entwarnung für den Rest: „Am Ende geht es darum, eine pragmatische Umsetzung der KI-Verordnung zu finden und sich nicht abschrecken zu lassen.“
Drei Schritte zur Absicherung
Der KI-Prüfkatalog macht abstrakte Anforderungen praktisch umsetzbar
Der AI-Act stellt hohe Anforderungen an die KI-Systeme und ist dabei gar nicht so einfach zu verstehen. Was ist gemeint mit einem „angemessenen Niveau an Genauigkeit“ oder „Robustheit“? Wo liegt der Referenzwert? Genau hier setzt der KI-Prüfkatalog des Projekts „Zertifizierte KI“ an: Er übersetzt das Abstrakte ins Konkrete und zeigt Schritt für Schritt, wie eine systematische Prüfung aussehen kann.
Diese Prüfung umfasst 3 Stufen: Zunächst werden Risiken identifiziert – was kann bei diesem System schiefgehen, wen könnte es betreffen? Im zweiten Schritt werden Vorgaben und Metriken definiert, anhand derer diese Risiken messbar gemacht werden. Im dritten Schritt werden konkrete Maßnahmen ergriffen, um die identifizierten Risiken zu begrenzen.
Am Ende muss das Ergebnis verargumentiert werden können. Malms fasst es so zusammen: „Ich habe Risiken identifiziert, Vorgaben definiert, Metriken ausgewählt und schlussendlich Maßnahmen ergriffen, um Risiken zu minimieren.“
Die drei Stufen der Absicherung
Schritt 1: Risikoanalyse
Entlang der Dimensionen wie Fairness, Autonomie oder Verlässlichkeit wird geprüft, ob ein erhöhter Schutzbedarf besteht. Welche technischen Risiken gibt es in den einzelnen Dimensionen?
Schritt 2: Zielvorgaben definieren
Messbare Kriterien und Metriken werden festgelegt. Der entscheidende Punkt: Was ist das „angemessene Niveau"? Welcher Referenzwert muss erreicht werden, damit das Risiko akzeptabel ist?
Schritt 3: Maßnahmen ergreifen
Konkrete Maßnahmen werden definiert, um Risiken zu mitigieren, etwa um die Verlässlichkeit zu erhöhen oder Verzerrungen zu reduzieren. Am Ende steht eine Absicherungsargumentation.
Diese Prüfung muss nicht zwangsläufig durch externe Dritte durchgeführt werden. Viel wichtiger ist es, die Qualitätsprüfung innerhalb des Unternehmens zu verankern.
Bei einer Sorge kann Malms direkt Entwarnung geben: „Als Unternehmen braucht man keine große Governance-Abteilung. Man braucht keine 10 oder 15 Personen, die sich mit dem Thema beschäftigen. Das kann in Organisationen sehr zielgerichtet entstehen, ohne großen administrativen Überbau.“
Globale Standards
Brauchen wir einen weltweiten Qualitätsstandard für KI?
Wenn man auf die USA oder China blickt, gehen diese Länder anders mit KI-Regulierung um als Europa. In den USA gab es zuletzt sogar eine große Reduktion an Regulierung. China verfolgt ebenfalls einen anderen Ansatz.
Die Frage ist: Überlässt man es den Unternehmen selbst, Qualitätssicherung zu betreiben und einen Standard dafür zu definieren? Oder möchte man das zentral vorgeben? Europa hat sich für den zweiten Weg entschieden.
Für Fabian Malms ist klar: „Ein allgemeingültiger Qualitätsstandard ist wichtig.“ Die Risiken, die mit KI einhergehen, sind bereits angekommen. Deepfakes waren viel in der Diskussion und in den Medien. Fabian beschreibt seine eigene Erfahrung: „Wenn ich durch Social Media scrolle, stelle ich mir sehr oft die Frage, ob das KI-generiert oder von einem Menschen ist.“
Meinungsmanipulation, täuschend echte Videos, in denen Menschen Worte in den Mund gelegt werden, die sie nie gesagt haben – das zeige, wie real die Risiken sind.
Laut Fabian Malms haben wir als Gesellschaft noch gar nicht wirklich begriffen, wie stark KI uns überall beeinflussen wird und in wie vielen Prozessen wir KI einsetzen werden.
Ein globaler Ansatz würde am meisten helfen, wenn sich die unterschiedlichen Staaten darauf verständigen. Welches Vorgehen am Ende das Bessere ist – der europäische Regulierungsansatz oder der „Wilde Westen“ in den USA und China –, das werden wir sehen.
wvgw
Wirtschafts- und
Verlagsgesellschaft
Gas und Wasser mbH
Josef-Wirmer-Str. 3
53123 Bonn
Tel.: +49 228 9191-40
Mo – Do: 8:00 – 17:00 Uhr
Fr: 8:00 – 14:00 Uhr