Website besuchen →
← Zurück zum Blog

KI-Governance: Definition, Pflichten und Umsetzungsplan für KMU

16. September 2026
KI-Governance: Definition, Pflichten und Umsetzungsplan für KMU

KI-Governance ist der Rahmen aus Richtlinien, Verantwortlichkeiten und Kontrollmechanismen, der KI-Systeme über ihren gesamten Lebenszyklus steuert, von der Beschaffung über den Betrieb bis zur Abschaltung. Drei Schritte haben jetzt Priorität: Erstellen Sie ein vollständiges Inventar aller eingesetzten KI-Anwendungen, ordnen Sie jede davon einer Risikoklasse zu und benennen Sie eine verantwortliche Person je System. Der EU AI Act und die DSGVO setzen dafür verbindliche Pflichten, die Unternehmen nicht ignorieren können.

Kurz gesagt:

  • Unternehmen müssen bis 2026 alle KI-Anwendungen inventarisieren, Risikoklassen zuordnen und Verantwortliche benennen, um regulatorische Pflichten zu erfüllen.
  • KI-Governance umfasst eine schriftliche Richtlinie, ein KI-Register, Risikoklassifizierung und Testanforderungen, um Risiken wie Bias, Datenschutzverletzungen und Betriebsstörungen zu minimieren.
  • Für Hochrisiko-Systeme ist eine Konformitätsbewertung, Dokumentation und eine Datenschutz-Folgenabschätzung vor Einsatz Pflicht; laufendes Monitoring ist essenziell.
  • Die Verantwortlichkeiten im Unternehmen sind durch einen KI-Governance-Ausschuss und einen KI-Officer klar zu regeln; externe Unterstützung sollte konkrete Nachweise und Referenzen vorweisen können.
  • Innerhalb von 90 Tagen sollten Unternehmen mit einem Mini-Audit, Pilotprojekten, Richtlinienentwicklung und Schulungen starten, um eine pragmatische KI-Governance aufzubauen.
Menter
KI-Governance praxisnah umsetzen
Menter unterstützt KMU mit strategischer Beratung, Workshops und Keynotes bei der individuellen Integration von KI-Technologien.
Menter kennenlernen

Inhaltsverzeichnis

Was KI-Governance genau bedeutet

KI-Governance beschreibt laut Definition des Gabler Wirtschaftslexikons einen Ordnungsrahmen aus Richtlinien, Entscheidungsrechten und Kontrollverfahren, der KI-Systeme so steuert, dass ethische, rechtliche und operative Anforderungen mit den Unternehmenszielen zusammenpassen. Das klingt abstrakt, wird aber konkret, sobald man den Lebenszyklus einer KI-Anwendung durchgeht.

Jede Phase braucht eigene Kontrollpunkte:

  • Planung und Beschaffung: Bedarfsanalyse, Auswahl des Anbieters, erste Risikoeinschätzung.
  • Entwicklung oder Konfiguration: Datenquellen prüfen, Trainingsdaten dokumentieren, Testkriterien festlegen.
  • Freigabe und Einführung: Konformitätsprüfung, Freigabe durch das Governance-Gremium, Schulung der Anwender.
  • Betrieb: Laufendes Monitoring, Fehlerprotokolle, Reaktion auf Beschwerden.
  • Überarbeitung oder Abschaltung: Neubewertung bei Modelländerungen, geordnete Außerbetriebnahme.

Governance ist damit kein einmaliges Projekt, sondern ein wiederkehrender Prozess. Wichtig ist die Abgrenzung zu benachbarten Disziplinen: Data Governance regelt, wer auf welche Daten zugreifen darf und wie Datenqualität gesichert wird. IT-Governance kümmert sich um Systemarchitektur, Zugriffsrechte und Betriebssicherheit. KI-Governance baut auf beidem auf. Sie geht aber weiter, weil sie zusätzlich Fragen der algorithmischen Fairness, der Erklärbarkeit von Entscheidungen und der rechtlichen Einordnung nach Risikoklasse behandelt. Ein Unternehmen mit sauberer Data Governance hat also schon die halbe Miete, aber eben nur die halbe. Wer die drei Bereiche vermischt, verliert schnell den Überblick darüber, wer für was tatsächlich zuständig ist.

Warum KI-Governance für Unternehmen wichtig ist

Ohne Governance häufen sich Risiken, die sich oft erst spät zeigen, dann aber teuer werden. Verzerrte Trainingsdaten führen zu diskriminierenden Entscheidungen bei Kreditvergabe oder Bewerberauswahl. Unklare Datenflüsse verletzen die DSGVO, bevor jemand es merkt. Und wenn ein KI-System fehlerhafte Ergebnisse liefert, ohne dass jemand die Verantwortung dafür trägt, steht am Ende oft die Geschäftsführung persönlich in der Haftung.

Die Risiken lassen sich in vier Kategorien bündeln:

  • Bias und Diskriminierung: verzerrte Modelle treffen systematisch falsche Entscheidungen bei bestimmten Personengruppen.
  • Datenschutzverletzungen: unklare Rechtsgrundlagen bei der Verarbeitung personenbezogener Daten.
  • Haftungsrisiken: fehlende Dokumentation macht es im Streitfall schwer, Sorgfalt nachzuweisen.
  • Betriebsstörungen: ein unbemerkt fehlerhaftes Modell kann Prozesse tagelang stören, bevor es auffällt.

Governance zahlt sich aber auch positiv aus. Kunden und Geschäftspartner vertrauen Unternehmen mehr, die nachweisen können, wie sie mit KI umgehen. Innovation wird planbarer, weil Teams wissen, welche Anwendungsfälle freigegeben sind und welche nicht. Und ein dokumentierter Entscheidungsprozess schützt den Return on Investment, weil Fehlinvestitionen in ungeeignete Systeme früher erkannt werden.

Regulatorisch ist der Druck real: Die OECD empfiehlt agile, ergebnisorientierte Governance-Ansätze, die Fairness und Transparenz wahren, ohne Innovation auszubremsen. Der EU AI Act verschärft diesen Anspruch mit verbindlichen Pflichten, und die DSGVO verlangt bei riskanten Anwendungen ohnehin eine gesonderte Prüfung.

Welche Pflichten der EU AI Act für Unternehmen bringt

Der EU AI Act unterscheidet KI-Systeme nach Risikoklassen, von minimalem Risiko bis zu verbotenen Praktiken. Die praktische Konsequenz betrifft vor allem Hochrisiko-Systeme, etwa in Personalauswahl, Kreditvergabe oder kritischer Infrastruktur. Für diese gelten Konformitätsbewertungen, Dokumentationspflichten und teils auch Registrierungspflichten in einer EU-Datenbank.

Die Durchsetzung liegt nicht bei einer einzigen Stelle. Die EU-Kommission hat eine mehrstufige Governance-Architektur aufgebaut: Das Amt für Künstliche Intelligenz koordiniert auf EU-Ebene, das AI Board bringt die Mitgliedstaaten zusammen, ein Scientific Panel liefert technische Expertise, und ein Advisory Forum bindet Wirtschaft und Zivilgesellschaft ein. Parallel dazu haben die nationalen Marktüberwachungsbehörden die Aufgabe, die Umsetzung in ihrem Land zu kontrollieren.

Ab dem 2. August 2026 sind das AI Office und die nationalen Behörden vollständig für Umsetzung, Überwachung und Durchsetzung zuständig. Das AI Office kann technische Dokumentation anfordern und bei General-Purpose-KI-Modellen direkt eingreifen, bis hin zu Sanktionen. Für Anbieter solcher Modelle hat die Kommission bereits Erläuterungen und Vorlagen für öffentliche Zusammenfassungen veröffentlicht, um die Transparenzpflichten praktisch handhabbar zu machen.

Parallel zum AI Act bleibt die DSGVO relevant, sobald personenbezogene Daten verarbeitet werden, was bei den meisten KI-Anwendungen der Fall ist. Der deutsche Bundesbeauftragte für den Datenschutz (BfDI) betont in seiner Handreichung, dass bei Hochrisiko-Einsätzen eine Datenschutz-Folgenabschätzung (DSFA) verpflichtend ist. Wichtig dabei: Die Verantwortlichkeit für die Datenverarbeitung muss vor dem Einsatz geklärt sein, nicht danach. Wer erst nachträglich klärt, wer für ein Modell verantwortlich ist, riskiert bei einer Prüfung durch die Aufsichtsbehörde erhebliche Probleme.

Für die Praxis heißt das:

  • Hochrisiko-Systeme identifizieren und vor Einführung einer Konformitätsbewertung unterziehen.
  • Transparenzpflichten gegenüber Nutzern erfüllen, etwa bei Chatbots oder automatisierten Entscheidungen.
  • Eine DSFA durchführen, bevor personenbezogene Daten in einem risikoreichen System verarbeitet werden.
  • Verantwortlichkeiten schriftlich festhalten, nicht nur mündlich absprechen.

Die Kernbausteine eines Governance-Frameworks

Ein funktionierendes Framework braucht nicht zwanzig Dokumente, sondern vier klar definierte Bausteine, die ineinandergreifen.

  1. Eine schriftliche KI-Richtlinie. Sie legt fest, wofür KI im Unternehmen eingesetzt werden darf, welche Daten dafür verwendet werden dürfen und welche Anwendungen kategorisch ausgeschlossen sind. Ohne diese Grundlage improvisiert jede Abteilung für sich.
  2. Ein KI-Register. Dieses Inventar dokumentiert jeden Einsatzfall mit Datenquelle, Verantwortlichem und Risikoklasse. Es ist laut Gabler-Definition ein zentrales Steuerungsinstrument, weil es die Basis für jede spätere Prüfung bildet. Ohne Register weiß im Ernstfall niemand genau, welche Systeme überhaupt laufen.
  3. Eine Risikoklassifizierung. Kriterien wie Betroffenenkreis, Automatisierungsgrad und Reversibilität von Entscheidungen bestimmen, ob ein System minimal, begrenzt, hoch oder gar nicht zulässig ist. Jede Klasse löst andere Prüf- und Dokumentationspflichten aus.
  4. Validierungs- und Testanforderungen. Vor dem Livegang muss ein System auf Genauigkeit, Diskriminierungsfreiheit und Robustheit getestet werden, mit dokumentierten Ergebnissen, die im Audit vorgelegt werden können.

Profi-Tipp: Beginnen Sie das KI-Register mit einer einzigen Tabellenspalte: „Wer würde es merken, wenn dieses System morgen ausfällt?“ Die Antwort verrät oft schneller als jede Risikomatrix, welche Anwendungen wirklich kritisch sind.

So führen KMU KI-Governance Schritt für Schritt ein

Kleinere Unternehmen brauchen keinen kompletten Governance-Apparat vom ersten Tag an. Ein realistischer Fahrplan über drei bis sechs Monate reicht meist aus, um die wichtigsten Lücken zu schließen.

  1. Mini-Audit durchführen (Woche 1 bis 3). Erfassen Sie alle KI-Anwendungen im Unternehmen, auch die, die als „normale Software“ durchgehen, etwa Chatbots im Kundenservice oder automatisierte Bewerbungsfilter. Viele Unternehmen entdecken dabei drei oder vier Anwendungen, von denen die Geschäftsführung vorher nichts wusste.
  2. Pilotprojekt aufsetzen (Woche 4 bis 8). Wählen Sie ein einzelnes System mit überschaubarem Risiko und bilden Sie ein kleines, funktionsübergreifendes Team aus IT, Fachbereich und Datenschutz. Legen Sie vorab fest, woran Erfolg gemessen wird, etwa an Fehlerquote oder Bearbeitungszeit.
  3. Richtlinie und Register ausrollen (Woche 9 bis 14). Aus den Erfahrungen des Piloten entsteht die unternehmensweite Richtlinie. Das Register wird verbindlich gepflegt, nicht als Fleißaufgabe, sondern als Pflichtfeld bei jeder neuen KI-Einführung.
  4. Schulung und Change Management (laufend). Mitarbeiter müssen verstehen, warum Regeln gelten, nicht nur, dass sie gelten. Kurze, rollenspezifische Schulungen wirken hier besser als ein einmaliges großes Kick-off.

Priorisieren Sie nach Risiko, nicht nach Aufwand. Ein System mit geringem Risiko kann warten, ein Bewerbermanagement-Tool mit automatisierter Vorauswahl nicht. Die praktische Erfahrung zeigt: KI-Governance scheitert seltener an fehlender Technik als an unklaren Zuständigkeiten. Für KMU ist es deshalb oft sinnvoller, bestehende ISO- oder DSGVO-Prozesse zu erweitern, statt ein komplett neues System danebenzustellen.

Wer ist im Unternehmen für KI-Governance verantwortlich?

Governance ohne klare Rollen bleibt ein Papiertiger. Zwei Positionen sind dabei zentral.

Der KI-Governance-Ausschuss trifft Entscheidungen über Freigaben, bewertet neue Anwendungsfälle und überprüft in regelmäßigen Abständen, ob bestehende Systeme noch den Richtlinien entsprechen. In kleineren Unternehmen reicht dafür oft ein Gremium aus drei bis fünf Personen, das sich quartalsweise trifft und bei kritischen Fällen kurzfristig zusammenkommt.

Wer ist im Unternehmen für KI-Governance verantwortlich? — overview diagram

Der oder die KI-Officer ist die operative Anlaufstelle: verantwortlich für das Register, Ansprechpartner bei Rückfragen der Fachabteilungen und Bindeglied zur Geschäftsführung. Diese Rolle muss nicht Vollzeit besetzt sein, aber sie braucht Entscheidungsbefugnis, sonst versandet jede Eskalation.

Wichtige Schnittstellen entstehen zu:

  • Datenschutzbeauftragten, die bei jeder DSFA und jeder neuen Datenverarbeitung einbezogen werden müssen.
  • IT-Sicherheit, die für technische Zugriffskontrollen und Schwachstellenmanagement zuständig ist.
  • Fachbereichen, die als eigentliche Nutzer von KI-Systemen Rückmeldungen zu Praxistauglichkeit und Fehlern liefern.

Ein Toolkit der britischen Regierung empfiehlt genau diese Struktur: interdisziplinäre Teams aus KI-Governance-Officer, Rechtsabteilung und Führungsebene. Damit landen Risikoentscheidungen nicht allein bei der IT-Abteilung. Die Geschäftsführung muss dabei nicht jede Detailentscheidung treffen, aber sie muss wissen, welche Hochrisiko-Systeme im Haus laufen und wer dafür geradesteht.

Wie überwacht man KI-Systeme im laufenden Betrieb?

Ein System, das bei der Einführung sauber getestet wurde, kann Monate später trotzdem schiefliegen. Modelle verändern sich mit neuen Daten, Nutzungsmuster verschieben sich, und was gestern fair war, ist es morgen vielleicht nicht mehr.

Drei Metrikbereiche gehören ins laufende Monitoring:

  • Leistungskennzahlen: Genauigkeit, Fehlerquote, Antwortzeiten im Vergleich zur ursprünglichen Testphase.
  • Bias-Indikatoren: Auffälligkeiten in den Ergebnissen nach Gruppen wie Alter, Geschlecht oder Herkunft, sofern rechtlich zulässig erhoben.
  • Datenqualität: fehlende Werte, veraltete Datenquellen, Verschiebungen in der Eingabeverteilung.

Diese Verschiebung nennt man Drift. Ein Kreditscoring-Modell etwa, das auf Daten von vor drei Jahren trainiert wurde, trifft heute möglicherweise systematisch andere Entscheidungen, einfach weil sich das Kundenverhalten verändert hat. Drift-Erkennung bedeutet: regelmäßige Stichprobenprüfungen, automatisierte Alarmschwellen und ein definierter Prozess, was passiert, wenn die Schwelle überschritten wird, sei es Nachtraining, Anpassung oder vorübergehende Abschaltung.

Die BfDI-Handreichung macht deutlich, dass DSFA-Prozesse und klar benannte Verantwortliche in der Praxis oft der entscheidende Faktor sind, um eine Prüfung durch die Aufsichtsbehörde zu bestehen. Wer Monitoring-Ergebnisse nicht dokumentiert, kann im Zweifel nicht nachweisen, dass ein System sorgfältig überwacht wurde, selbst wenn es tatsächlich so war.

Externe Prüfungen ergänzen das interne Monitoring sinnvoll, vor allem bei Hochrisiko-Systemen. Ein jährlicher externer Audit-Bericht, kombiniert mit einem internen Reporting an die Geschäftsführung, schafft die Nachweisbasis, die im Streitfall oder bei einer behördlichen Anfrage zählt.

Welche Kennzahlen zeigen, ob Governance funktioniert?

Governance ohne Messung bleibt Behauptung. Ein paar Kennzahlen reichen aus, um den Fortschritt sichtbar zu machen, ohne ein eigenes Reporting-System aufzubauen.

  • Registrierungsquote: Anteil der KI-Anwendungen, die tatsächlich im Register erfasst sind, gemessen gegen das Ergebnis des letzten Mini-Audits.
  • Time-to-Mitigation: Zeit zwischen Entdeckung eines Problems, etwa eines Bias-Befunds, und der Umsetzung einer Gegenmaßnahme.
  • Schulungsquote: Anteil der Mitarbeiter mit direktem KI-Kontakt, die die Pflichtschulung absolviert haben.
  • Prüfabdeckung: Anteil der Hochrisiko-Systeme, die im laufenden Jahr eine externe oder interne Prüfung durchlaufen haben.

Ein monatliches Dashboard für den Governance-Ausschuss reicht meist aus, ergänzt durch einen ausführlicheren Quartalsbericht an die Geschäftsführung. Wichtig ist der Rhythmus, nicht die Tiefe: Lieber ein knappes Update jeden Monat als ein umfassender Bericht einmal im Jahr, der dann niemand mehr aktuell einordnen kann.

Aus jedem Vorfall, sei es ein Bias-Befund oder eine verpasste Frist, sollte eine kurze Lessons-Learned-Notiz entstehen. Diese Notizen fließen in die nächste Überarbeitung der Richtlinie ein. So wird Governance über Zeit präziser, statt bei der ersten Version stehen zu bleiben.

Woran erkennt man einen kompetenten KI-Governance-Berater?

Wer sich externe Unterstützung holt, sollte konkrete Nachweise verlangen, nicht nur Versprechen. Vier Punkte helfen bei der Einschätzung:

  • Referenzen aus vergleichbaren Branchen. Ein Berater, der bereits Unternehmen ähnlicher Größe begleitet hat, kennt die typischen Stolpersteine, ohne bei null anzufangen. Praxisbeispiele lassen sich in der Referenzübersicht von Menter einsehen.
  • Nachweise zur Datenschutzkonformität. Ein seriöser Berater legt offen, wie er selbst mit sensiblen Unternehmensdaten umgeht, etwa in einer Datenschutzerklärung, die konkret auf Beratungsprozesse eingeht.
  • Zertifizierte Expertise. Zertifizierte Coaches bringen einen geprüften methodischen Hintergrund mit, der über reines Produktwissen hinausgeht.
  • Fördermittelkenntnis. Wer bei der Beantragung von BAFA-Zuschüssen unterstützen kann, senkt die Einstiegshürde für KMU spürbar. Details dazu finden sich auf der Förderseite von Menter.

Ein guter Indikator ist auch, ob der Berater von Anfang an über Risikoklassifizierung und Dokumentationspflichten spricht, statt nur über die Technik selbst. Wer nur von Chatbots und Automatisierung redet, aber Verantwortlichkeiten und Nachweispflichten außen vor lässt, deckt nur die halbe Aufgabe ab.

Prioritäten für die nächsten 90 Tage

Die größte Fehleinschätzung bei KI-Governance ist, sie für ein Rechtsprojekt zu halten. Sie ist ein Organisationsprojekt mit rechtlichen Randbedingungen, und diese Verwechslung kostet Unternehmen Monate. Wer zuerst einen fünfzigseitigen Richtlinienentwurf schreibt, bevor auch nur ein System im Register steht, hat die Reihenfolge vertauscht.

Isometrische Darstellung des Governance-Prozesses

Meine Priorität für die ersten 90 Tage: Inventar vor Richtlinie, Pilot vor Rollout. Ein einziges gut dokumentiertes System schafft mehr Vertrauen bei Prüfern als eine perfekte Richtlinie ohne Praxisbezug. Der häufigste Stolperstein ist dabei nicht technischer Natur, sondern organisatorisch: Niemand fühlt sich zuständig, wenn ein System Probleme macht, weil die Verantwortlichkeit nie schriftlich festgehalten wurde.

Wer jetzt anfängt, sollte pragmatisch bleiben. Governance-Frameworks, die auf Perfektion zielen, verzögern sich um Jahre. Frameworks, die mit einem Register und einer Person starten, liefern in Wochen erste Ergebnisse und wachsen von dort aus organisch.

— Shaun

Unterstützung bei der Einführung von KI-Governance im Unternehmen

Es gibt Beratungsangebote, die statt allgemeiner Compliance-Handbücher einen auf Branche und Unternehmensgröße zugeschnittenen Fahrplan bereitstellen, der schnell erste Ergebnisse liefert, nicht erst nach einem Jahr Vorarbeit.

Menter

Das Leistungsspektrum umfasst strategische Beratung, praxisnahe Workshops und Mitarbeiterschulungen sowie Keynotes, die Governance-Themen vermitteln. Dabei wird eine Kombination aus Branchenwissen und einer Vorgehensweise genutzt, die schnelle Anwendbarkeit und Datenschutzkonformität berücksichtigt.

Wer prüfen möchte, ob Fördermittel für ein Governance-Projekt infrage kommen, findet auf der Förderungen-Seite einen ersten Überblick zur BAFA-Unterstützung. Für den nächsten Schritt lohnt sich ein Blick auf die Leistungsübersicht mit den Angeboten zu Strategieberatung, Workshops und Keynotes, oder eine direkte Anfrage über die Kontaktseite, um einen ersten Termin für ein Pilotprojekt abzustimmen.

Quellen

FAQ

Welche vier Arten von KI gibt es?

Üblich ist die Einteilung in reaktive Maschinen, Systeme mit begrenztem Gedächtnis, Systeme mit Theorie des Geistes und selbstbewusste KI. In der Praxis von Unternehmen spielen fast ausschließlich reaktive Systeme und Systeme mit begrenztem Gedächtnis eine Rolle, etwa Chatbots oder Scoring-Modelle.

Was versteht man unter Governance allgemein?

Governance bezeichnet die Gesamtheit der Regeln, Prozesse und Verantwortlichkeiten, mit denen eine Organisation Entscheidungen trifft und überwacht. Bei KI-Governance wird dieser Rahmen speziell auf die Steuerung von KI-Systemen über deren Lebenszyklus angewendet, wie es die Gabler-Definition beschreibt.

Was versteht man unter IT-Governance?

IT-Governance regelt Zuständigkeiten, Prozesse und Kontrollen rund um IT-Infrastruktur, Systemsicherheit und Zugriffsrechte. Sie bildet eine wichtige Grundlage für KI-Governance, deckt aber nicht die spezifischen Anforderungen an Fairness, Erklärbarkeit und Risikoklassifizierung ab, die der EU AI Act verlangt.

Welche Berufe kann KI nicht ersetzen?

Berufe mit hoher zwischenmenschlicher Verantwortung, komplexer ethischer Abwägung oder handwerklichem Geschick lassen sich kaum vollständig automatisieren, etwa in Pflege, Handwerk oder Führungspositionen mit strategischer Verantwortung. Gerade weil diese Entscheidungen schwer automatisierbar sind, bleibt die menschliche Aufsicht über KI-Systeme ein zentraler Baustein jeder Governance-Struktur.

Wer unterstützt KMU bei der Einführung von KI-Governance?

Spezialisierte Beratungen wie Menter bieten Strategieberatung, Workshops und Unterstützung bei Fördermittelanträgen speziell für kleine und mittelständische Unternehmen an. Die genauen Konditionen für Beratungsleistungen sind auf der Leistungsseite einsehbar.

Empfehlungen