AI Governance praktisch aufbauen: Rollen, Prozesse und Verantwortlichkeiten

Künstliche Intelligenz hält in vielen Unternehmen schnell Einzug. Mitarbeiter nutzen generative KI im Arbeitsalltag, Fachbereiche testen neue Anwendungen und immer mehr Softwareprodukte enthalten KI-Funktionen. Gleichzeitig entstehen Fragen, die auf Unternehmensebene geklärt werden müssen: Welche Anwendungen dürfen eingesetzt werden? Welche Daten dürfen verarbeitet werden? Wer entscheidet über neue KI-Lösungen? Wer trägt die Verantwortung für Ergebnisse und wie werden Risiken bewertet?

AI Governance schafft dafür einen verbindlichen Rahmen. Sie regelt den Umgang mit KI im Unternehmen und sorgt dafür, dass Verantwortlichkeiten, Freigaben, Datenzugriffe und Kontrollen klar definiert sind. Der Umfang sollte dabei zur tatsächlichen Nutzung und zum jeweiligen Risiko passen.

Was bedeutet AI Governance?

AI Governance, häufig auch KI-Governance genannt, umfasst Regeln, Verantwortlichkeiten und Prozesse für den Einsatz künstlicher Intelligenz im Unternehmen. Sie legt fest, wie KI-Anwendungen ausgewählt, bewertet, freigegeben und im laufenden Betrieb überwacht werden.

Dazu gehören unter anderem Vorgaben für den Umgang mit Unternehmensdaten, Zuständigkeiten für einzelne Anwendungen, Sicherheitsanforderungen und die Frage, wann Ergebnisse durch einen Menschen geprüft werden müssen.

Für Unternehmen entsteht damit ein gemeinsamer Rahmen, an dem sich Geschäftsführung, Fachbereiche, IT und Mitarbeiter orientieren können.

1. Überblick über die bestehende KI-Nutzung schaffen

Am Anfang steht die Frage, wo KI im Unternehmen bereits eingesetzt wird. Das ist häufig umfangreicher, als es auf den ersten Blick erscheint.

Neben bekannten Anwendungen wie ChatGPT oder Microsoft Copilot können Fachabteilungen weitere KI-Dienste nutzen, z.B. bestehende Softwareprodukte erhalten zunehmend integrierte KI-Funktionen und möglicherweise laufen bereits erste eigene Anwendungen oder Pilotprojekte.

Ein KI-Inventar schafft einen zentralen Überblick. Darin können für jede Anwendung einige grundlegende Informationen festgehalten werden:

• Zweck und Einsatzbereich
• verantwortlicher Fachbereich oder Owner
• verwendete Daten
• eingesetzte Anwendung oder Technologie
• angebundene Systeme
• Umfang der automatisierten Entscheidungen oder Aktionen

Für den Einstieg reicht eine einfache strukturierte Übersicht. Sie bildet die Grundlage für weitere Entscheidungen und zeigt gleichzeitig, an welchen Stellen bereits Handlungsbedarf besteht.

2. KI-Anwendungen nach ihrem Risiko unterscheiden

Der notwendige Governance-Aufwand hängt stark vom jeweiligen Anwendungsfall ab. Ein freigegebener KI-Assistent, der Mitarbeiter bei allgemeinen Texten unterstützt, hat überschaubare Auswirkungen. Ein interner Wissensassistent verarbeitet möglicherweise bereits vertrauliche Unternehmensinformationen. Bei einem KI-System, das wichtige Entscheidungen vorbereitet, steigen die Anforderungen an Qualität und Kontrolle. Ein KI-Agent mit Zugriff auf ERP, CRM oder andere Unternehmenssysteme benötigt zusätzlich klar definierte Berechtigungen.

Für die interne Steuerung kann deshalb eine einfache Einteilung helfen:

Eine solche interne Bewertung hilft dabei, den Prüfungsaufwand an die Anwendung anzupassen. Sie ersetzt aber keine rechtlich erforderliche Risikoklassifizierung, beispielsweise nach dem EU AI Act.

Je größer die möglichen Auswirkungen einer KI-Anwendung auf Menschen, Daten oder Geschäftsprozesse sind, desto umfangreicher sollten Prüfung und Kontrolle ausfallen.

3. Verantwortlichkeiten für KI festlegen

AI Governance funktioniert nur mit klaren Zuständigkeiten. Dabei sind in der Regel mehrere Bereiche beteiligt:

• Die Geschäftsführung legt den grundsätzlichen Rahmen fest und entscheidet über Ziele und Risikobereitschaft des Unternehmens.
• Der jeweilige Fachbereich verantwortet den geschäftlichen Anwendungsfall und kann beurteilen, ob die Ergebnisse der KI fachlich brauchbar sind.
• IT und Entwicklung kümmern sich um technische Integration und Betrieb. Die Informationssicherheit bewertet beispielsweise Systemzugriffe, Datenflüsse und mögliche Sicherheitsrisiken.
• Datenschutz, Legal oder Compliance werden abhängig vom jeweiligen Anwendungsfall einbezogen.

Für jede produktiv eingesetzte KI-Anwendung sollte ein eindeutiger Owner festgelegt werden. Diese Person oder Funktion trägt die Verantwortung für den Anwendungsfall und sorgt dafür, dass notwendige Prüfungen, Änderungen und Entscheidungen angestoßen werden.

4. Verständliche Regeln für den Arbeitsalltag schaffen

Mitarbeiter brauchen konkrete Orientierung für die tägliche Nutzung von KI. Allgemeine Vorgaben wie „KI muss verantwortungsvoll eingesetzt werden“ lassen viele praktische Fragen offen.

Eine KI-Richtlinie sollte deshalb typische Situationen im Unternehmen abdecken. Dazu gehören vor allem freigegebene Anwendungen, der Umgang mit vertraulichen oder personenbezogenen Informationen und die Verwendung von KI-generierten Ergebnissen.

Wichtige Bereiche sind:

• zugelassene KI-Anwendungen und Dienste
• Umgang mit Unternehmensdaten
• Verarbeitung personenbezogener Daten
• Zugriffsrechte auf Unternehmenssysteme
• Prüfung von KI-generierten Ergebnissen
• Beschaffung und Einführung neuer KI-Lösungen
• Verantwortlichkeiten bei produktiven Anwendungen

Die Vorgaben sollten so konkret formuliert sein, dass Mitarbeiter daraus eine Entscheidung für ihren Arbeitsalltag ableiten können.

Ein Beispiel: Die Aussage „Vertrauliche Kundeninformationen dürfen nicht in öffentlich zugängliche und nicht freigegebene KI-Dienste eingegeben werden“ gibt deutlich mehr Orientierung als ein allgemeiner Hinweis auf den verantwortungsvollen Umgang mit Daten.

Der Umfang der Regeln sollte sich an den vorhandenen Anwendungen und Risiken orientieren. Dadurch bleibt die Governance auch im Arbeitsalltag handhabbar.

5. Einen Prozess für neue KI-Anwendungen definieren

Neben Regeln für die tägliche Nutzung braucht das Unternehmen einen klaren Weg für neue KI-Anwendungen.

Ein Fachbereich, der beispielsweise einen KI-Assistenten für die interne Wissenssuche einführen möchte, sollte wissen, welche Informationen benötigt werden und wer die Anwendung bewertet.

Am Anfang reichen einige grundlegende Fragen: Welches Problem soll gelöst werden? Wer wird die Anwendung nutzen? Welche Daten werden benötigt? Auf welche Systeme soll die KI zugreifen? Welche Folgen können fehlerhafte Ergebnisse haben?

Aus diesen Angaben lässt sich der notwendige Prüfungsumfang ableiten.

Ein möglicher Ablauf sieht so aus:

Bedarf → Use Case erfassen → Risiko bewerten → Daten und Security prüfen → Verantwortlichkeit festlegen → Freigabe → Betrieb

Einfache Anwendungen können einen entsprechend kurzen Prozess durchlaufen. Anwendungen mit sensiblen Daten, weitreichenden Systemzugriffen oder Einfluss auf wichtige Entscheidungen benötigen eine umfangreichere Prüfung.

6. Berechtigungen von KI-Agenten klar begrenzen

KI-Agenten erweitern die Governance um einen wichtigen Aspekt. Sie können neben der Verarbeitung von Informationen auch selbst Aufgaben ausführen und dafür auf andere Systeme zugreifen.

Ein Vertriebsagent könnte zum Beispiel Informationen aus dem CRM abrufen, einen Kunden zusammenfassen und einen Angebotsentwurf erstellen. Je nach Berechtigung könnte er auch CRM-Daten verändern, E-Mails verschicken oder weitere Prozesse anstoßen. Für solche Anwendungen muss klar definiert werden, welche Daten der Agent lesen darf, welche Änderungen er vornehmen kann und welche Aktionen eine menschliche Freigabe benötigen.

Ein Agent für die Angebotserstellung benötigt beispielsweise möglicherweise Zugriff auf Kundeninformationen und Produktdaten. Ein Zugriff auf sämtliche CRM-Daten oder administrative Funktionen wäre für diese Aufgabe nicht erforderlich. Das Prinzip der minimal notwendigen Rechte, das in der Informationssicherheit seit Langem etabliert ist, lässt sich direkt auf KI-Agenten übertragen. Jeder Agent erhält genau die Zugriffe, die er für seine definierte Aufgabe benötigt.

Mit zunehmender Autonomie steigen auch die Anforderungen an Protokollierung und Kontrolle. Unternehmen sollten nachvollziehen können, welche Aktionen ein Agent durchgeführt hat und auf welcher Grundlage dies geschehen ist.

7. AI Governance und EU AI Act zusammen betrachten

Der EU AI Act ist ein wichtiger Bestandteil der regulatorischen Rahmenbedingungen für künstliche Intelligenz. Welche konkreten Anforderungen gelten, hängt unter anderem von der jeweiligen KI-Anwendung und der Rolle des Unternehmens ab.

Eine unternehmensweite AI Governance umfasst darüber hinaus weitere Themen. Datenschutz, Informationssicherheit, Qualität, interne Verantwortlichkeiten und geschäftliche Risiken spielen auch bei Anwendungen eine Rolle, für die nur begrenzte regulatorische Anforderungen gelten. Ein funktionierendes Governance-Modell sollte deshalb die verschiedenen Anforderungen zusammenführen. Bestehende Prozesse aus Datenschutz, Informationssicherheit, Compliance und Risikomanagement können dabei häufig genutzt oder erweitert werden.

8. KI-Anwendungen auch im laufenden Betrieb überprüfen

KI-Anwendungen verändern sich mit der Zeit: Modelle werden aktualisiert, neue Datenquellen kommen hinzu, Funktionen werden erweitert und zunächst kleine Anwendungen werden auf weitere Bereiche ausgerollt, wodurch sich auch die Bewertung einer Anwendung verändern kann.

Unternehmen sollten deshalb festlegen, welche Veränderungen eine erneute Prüfung auslösen, z.B. neue Datenquellen, zusätzliche Systemzugriffe, neue Nutzergruppen oder deutlich erweiterte Funktionen, sowie bei geschäftlich relevanten Anwendungen, ob die erwartete Qualität weiterhin erreicht wird, wie sich die Nutzung entwickelt und ob Fehler oder Sicherheitsvorfälle aufgetreten sind.

10 Fragen, die Ihre AI Governance beantworten sollte

Für eine erste Standortbestimmung reichen zehn konkrete Fragen:

• Wissen wir, welche KI-Anwendungen im Unternehmen eingesetzt werden?
• Ist klar, welche KI-Tools Mitarbeiter nutzen dürfen?
• Ist geregelt, welche Unternehmensdaten mit KI verarbeitet werden dürfen?
• Gibt es für produktive KI-Anwendungen einen Verantwortlichen?
• Können wir unterschiedliche Risiken nachvollziehbar bewerten?
• Ist festgelegt, wann eine neue KI-Anwendung geprüft werden muss?
• Wissen Mitarbeiter, wann Ergebnisse menschlich kontrolliert werden müssen?
• Sind die Zugriffe von KI-Agenten auf die benötigten Daten und Funktionen begrenzt?
• Werden relevante KI-Anwendungen nach ihrer Einführung weiter überprüft?
• Gibt es einen definierten Umgang mit Fehlern und Sicherheitsvorfällen?

Diese Fragen eignen sich auch als Ausgangspunkt für einen ersten internen Workshop. Offene Punkte zeigen recht schnell, wo Regeln, Verantwortlichkeiten oder Prozesse noch fehlen.

Fazit: Klare Regeln schaffen Sicherheit für den KI-Einsatz

Eine funktionierende AI Governance schafft Transparenz über die eingesetzten KI-Anwendungen, definiert Verantwortlichkeiten und gibt Mitarbeitern klare Leitplanken für den täglichen Umgang mit KI.

Ein schrittweiser Aufbau ist deshalb häufig sinnvoll: Ein KI-Inventar, klare Verantwortlichkeiten und verständliche Grundregeln schaffen eine solide Basis. Mit zunehmender Nutzung können Freigabeprozesse, Risikobewertungen und Kontrollen erweitert werden.

Es entsteht ein Rahmen, der mit der KI-Nutzung des Unternehmens wachsen kann und gleichzeitig dafür sorgt, dass Daten, Systeme und Verantwortlichkeiten von Anfang an berücksichtigt werden.

AI Governance im Unternehmen aufbauen

ICS unterstützt Unternehmen dabei, passende Strukturen für den Einsatz von KI zu entwickeln und Governance, Security und technische Umsetzung gemeinsam zu betrachten.

→ Unverbindliches Erstgespräch vereinbaren