Ein KI-Compliance-Programm ist das Regelwerk, mit dem Ihr Unternehmen KI rechtssicher und trotzdem produktiv nutzt. Dazu gehören eine Übersicht aller KI-Anwendungen, eine Risikobewertung nach dem EU AI Act, klare Zuständigkeiten, eine verbindliche KI-Richtlinie (auch für ChatGPT), geschulte Mitarbeitende und eine regelmäßige Überprüfung. Für KMU heißt das keine Konzernbürokratie. Es heißt ein schlankes Programm, das zur eigenen Branche und Größe passt und das jemand mit Praxiserfahrung einmal sauber aufsetzt, damit es danach im Alltag trägt. Genau dafür ist externe Begleitung meist der schnellere und sicherere Weg als ein Alleingang mit Vorlagen aus dem Netz.
Kurz gesagt
- Seit Februar 2025 gelten im AI Act die Verbote unzulässiger KI-Praktiken und die Pflicht zur KI-Kompetenz der Beschäftigten. Die meisten übrigen Regeln greifen ab dem 2. August 2026.
- Die DSGVO gilt zusätzlich, sobald Ihre KI-Anwendungen personenbezogene Daten verarbeiten.
- Ein tragfähiges Programm besteht aus sieben Bausteinen: Bestandsaufnahme, Risikoeinstufung, Zuständigkeiten, Richtlinie, sichere Workflows, Schulung und laufende Kontrolle.
- Pauschale Verbote von ChatGPT & Co. treiben die Nutzung in den Schatten. Klare Leitplanken und offene Kommunikation senken die Schattennutzung nachweislich.
- Software kann Dokumentation erleichtern, ersetzt aber nicht die Entscheidungen, die Geschäftsführung und Fachbereiche selbst treffen müssen.
Inhaltsverzeichnis
- Was ein KI-Compliance-Programm ist und was ein Governance-Framework
- Welche Pflichten deutsche Unternehmen jetzt treffen
- In sieben Schritten zum KI-Compliance-Programm
- Die Bausteine im Überblick
- Software oder Begleitung: was KMU wirklich brauchen
- Mit uns zum eigenen KI-Compliance-Programm
- Unsere Sicht: Compliance ist der Startpunkt, nicht die Bremse
- Häufige Fragen
- Quellen
Was ein KI-Compliance-Programm ist und was ein Governance-Framework
Die Begriffe werden oft vermischt, beschreiben aber zwei Ebenen derselben Aufgabe.
Das KI-Governance-Framework ist der Rahmen: Wer entscheidet über neue KI-Anwendungen? Nach welchen Werten und Kriterien? Wie berichtet man an die Geschäftsführung? Es beantwortet die Frage, wie Ihr Unternehmen KI grundsätzlich steuert. Eine ausführliche Einordnung finden Sie in unserem Beitrag zur KI-Governance für KMU.
Das KI-Compliance-Programm ist die operative Umsetzung dieses Rahmens gegenüber den Regeln von außen, also AI Act, DSGVO, Arbeitsrecht und Branchenvorgaben. Es besteht aus konkreten Dokumenten, Prozessen und Kontrollen: dem KI-Register, der Risikoeinstufung, der Richtlinie, den Schulungsnachweisen und dem Prüfrhythmus.
Vereinfacht gesagt: Governance legt fest, wie Sie KI führen wollen. Compliance belegt, dass Sie dabei alle Pflichten einhalten. Im Mittelstand lohnt es sich, beides in einem Zug aufzusetzen, weil dieselben Personen beides verantworten und ein getrenntes Doppelsystem niemand pflegt.
Welche Pflichten deutsche Unternehmen jetzt treffen
Der Zeitplan des AI Act
Das KI-Gesetz der EU ist am 1. August 2024 in Kraft getreten. Die Verbote von KI-Systemen mit unannehmbarem Risiko gelten nach sechs Monaten, also seit Februar 2025, die Regeln für Allzweck-KI-Modelle nach zwölf Monaten, und die meisten übrigen Vorschriften ab dem 2. August 2026. Für die Hochrisiko-Pflichten wird auf EU-Ebene über Anpassungen des Zeitplans beraten. Maßgeblich ist, was im Amtsblatt der EU veröffentlicht ist. Ein gutes Programm ist deshalb so gebaut, dass es neue Fristen aufnehmen kann, ohne neu zu beginnen.
KI-Kompetenz nach Art. 4
Die Pflicht, die fast jedes Unternehmen betrifft, ist die KI-Kompetenz. Nach Darstellung der IHK Köln zur Verpflichtung im AI Act bedeutet sie die Fähigkeit, fundiert mit KI-Systemen umzugehen, Chancen und Risiken zu erkennen und darauf aufbauend verantwortungsvoll zu entscheiden. Die IHK empfiehlt dafür vier Maßnahmen: den Kompetenzbedarf analysieren, zielgerichtete Schulungskonzepte entwickeln, interne Richtlinien erstellen und eine zentrale Ansprechstelle einrichten. Diese vier Punkte sind bereits das Gerüst eines Compliance-Programms.
Braucht es einen KI-Beauftragten?
Eine Pflicht zur Bestellung gibt es nicht. Laut Handelsblatt Management Campus schreibt die KI-Verordnung keinen KI-Beauftragten vor, das Bayerische Landesamt für Datenschutzaufsicht setzt ihn bei größeren Unternehmen jedoch geradezu voraus. Für bayerische Betriebe ist das ein klares Signal: Eine benannte, ansprechbare Person gehört ins Programm.
DSGVO läuft parallel
Sobald ein KI-System personenbezogene Daten verarbeitet, etwa Kundenanfragen, Bewerbungen oder Gesprächsnotizen, gelten die Datenschutzregeln zusätzlich zum AI Act. Rechtsgrundlage, Auftragsverarbeitung, Speicherort und bei riskanten Verarbeitungen eine Datenschutz-Folgenabschätzung gehören deshalb von Anfang an ins Programm, nicht als nachträgliche Prüfung.
In sieben Schritten zum KI-Compliance-Programm
1. Bestandsaufnahme: das KI-Register
Am Anfang steht die Frage, welche KI überhaupt im Haus läuft. Dazu zählen nicht nur bewusst eingeführte Werkzeuge, sondern auch KI-Funktionen in vorhandener Software (CRM, Office, Buchhaltung) und private Accounts, die Mitarbeitende dienstlich nutzen. Im KI-Register erfassen Sie pro Anwendung: Zweck, Fachbereich, verantwortliche Person, verarbeitete Daten, Ihre Rolle (Anbieter oder Betreiber) und die Risikoklasse.
Wo es schiefgeht: Viele Register bleiben unvollständig, weil nur die IT befragt wird. Die Schatten-KI in Vertrieb, Marketing oder Werkstattbüro taucht dann nicht auf. Wie Sie sie sichtbar machen, beschreiben wir im Beitrag zu Shadow AI im Unternehmen. Unsere Analyse von Geschäftsprozessen setzt genau hier an: Wir gehen die Abläufe mit den Fachbereichen durch, statt nur die Softwareliste abzufragen.
2. Risiken einstufen und priorisieren
Der AI Act unterscheidet vier Stufen: unzulässig, hoch, begrenzt und minimal. Die meisten KMU-Anwendungen wie Textentwürfe, Übersetzungen oder Angebotsvorlagen liegen im unteren Bereich. Kritisch wird es etwa bei KI in der Personalauswahl oder bei Bewertungen von Menschen. Die Details finden Sie in unserer Übersicht der AI-Act-Risikoklassen und im Leitfaden zur KI-Risikobewertung für KMU.
Wo es schiefgeht: Jede Anwendung wird mit demselben Aufwand geprüft, und das Projekt erstickt in Formularen. Sinnvoller ist es, nach Risiko, Wirkung und Sichtbarkeit zu priorisieren: zuerst die Anwendungen, die Entscheidungen über Menschen beeinflussen oder sensible Daten verarbeiten.
3. Zuständigkeiten festlegen
Jede Anwendung im Register braucht einen Owner im Fachbereich. Dazu kommen eine zentrale Ansprechstelle für KI-Fragen, die Einbindung von Datenschutz und, wo vorhanden, Betriebsrat, sowie eine klare Freigaberegel: Wer darf ein neues KI-Werkzeug einführen, und wer muss vorher zustimmen?
Wo es schiefgeht: Die Verantwortung landet komplett bei der IT oder beim Datenschutzbeauftragten. Beide können beraten, aber den fachlichen Einsatz verantworten die Abteilungen, die mit dem Ergebnis arbeiten.
4. Die KI-Richtlinie schreiben
Die KI-Richtlinie (AI Policy) ist das Dokument, das Mitarbeitende tatsächlich lesen sollen. Sie sollte auf wenigen Seiten regeln:
- Freigegebene Werkzeuge: welche KI-Tools mit welchen Konten genutzt werden dürfen, bevorzugt Unternehmenslizenzen statt privater Accounts.
- Datenklassen: welche Informationen nie in ein KI-Tool gehören (personenbezogene Kundendaten, Geschäftsgeheimnisse, Zugangsdaten) und welche erlaubt sind.
- Prüfpflicht: KI-Ergebnisse werden vor der Verwendung geprüft, bei geschäftskritischen Inhalten verbindlich durch eine fachkundige Person.
- Kennzeichnung: wann KI-generierte Inhalte nach außen als solche erkennbar sein müssen.
- Meldeweg: an wen sich Mitarbeitende bei Fehlern, Datenpannen oder Unsicherheit wenden.
- Neue Tools: wie ein Antrag auf Freigabe läuft.
Wo es schiefgeht: Die Richtlinie ist ein juristisches Dokument, das niemand versteht, oder ein pauschales Verbot. Was in eine wirksame Policy gehört, haben wir im Beitrag Brauchen Unternehmen jetzt eine AI Policy? zusammengefasst.
5. Den ChatGPT-Workflow sicher gestalten
Richtlinien wirken nur, wenn der Arbeitsablauf sie leicht macht. Ein sicherer Workflow für ChatGPT oder vergleichbare Assistenten sieht in der Praxis so aus:
- Aufgabe einordnen: Gehört sie zu einer freigegebenen Anwendung im Register?
- Eingabe bereinigen: Namen, Kundendaten und vertrauliche Zahlen werden entfernt oder anonymisiert.
- Mit dem freigegebenen Konto arbeiten: keine privaten Zugänge, Einstellungen zur Datennutzung zentral geregelt.
- Ergebnis prüfen: Fakten, Zahlen und Quellen kontrollieren, bei geschäftskritischen Fällen durch eine zweite Person.
- Dokumentieren: bei relevanten Vorgängen festhalten, dass und wie KI beteiligt war.
Die Forschung stützt diesen Ansatz. Eine Studie in Wirtschaftsinformatik & Management zu Schatten-KI durch ChatGPT zeigt, dass gezielte Schulungen die Risiken spürbar senken und eine verbindliche menschliche Validierung bei geschäftskritischen Fällen halluzinierte oder unvollständige Antworten abfängt. Human-in-the-Loop bleibt dort der zentrale Sicherheitsanker. Unternehmen, die statt pauschaler Verbote auf frühe, offene Kommunikation und klare Leitplanken setzten, berichteten von weniger Schattennutzung und mehr regulärer, sicherer Nutzung. Dieselbe Studie beschreibt, dass sich KI in bestehenden Plattformen wie Microsoft Copilot über vorhandene Toolchains und eine durchlaufene Datenschutz-Folgenabschätzung einfacher überwachen lässt. Wenn Sie diesen Weg gehen, hilft unser Praxis-Leitfaden zur Copilot-Einführung. Wann genau ein Mensch entscheiden muss, klären wir im Beitrag zu Human in the Loop.
6. Mitarbeitende schulen
Ohne Schulung bleibt die beste Richtlinie Papier, und Art. 4 verlangt die KI-Kompetenz ohnehin. Wirksam sind Schulungen, die nach Rolle unterscheiden: Die Geschäftsführung braucht Risiko- und Haftungswissen, Fachbereiche brauchen konkrete Anwendungsfälle aus ihrem Alltag, Owner brauchen Wissen über Dokumentation und Prüfung. Halten Sie Teilnahme und Inhalte fest, damit Sie die Kompetenz belegen können. Was der Gesetzgeber konkret verlangt, lesen Sie im Beitrag KI-Schulung für Mitarbeiter.
Wo es schiefgeht: Eine einmalige Pflichtschulung mit allgemeinen Folien. Die Mitarbeitenden erkennen ihre eigene Arbeit darin nicht wieder. Wir schulen deshalb branchenspezifisch, mit Beispielen aus Handwerk, Planung, Marketing oder Technik, je nachdem, wer im Raum sitzt.
7. Überwachen, prüfen, anpassen
Ein Compliance-Programm ist kein Projekt mit Enddatum. Legen Sie einen festen Rhythmus fest:
- Laufend: Neue KI-Werkzeuge durchlaufen vor dem Einsatz den Freigabeprozess und landen im Register.
- Quartalsweise: Owner prüfen ihre Anwendungen auf geänderte Zwecke, Daten oder Funktionen. Gerade Software-Updates bringen oft neue KI-Funktionen mit.
- Jährlich: Richtlinie, Risikoeinstufungen und Schulungsinhalte werden gegen die aktuelle Rechtslage geprüft, inklusive neuer Fristen aus dem AI Act.
- Anlassbezogen: nach Vorfällen, Beschwerden oder größeren Änderungen in der Gesetzgebung.
Die Ansprechstelle sammelt Fragen und Vorfälle und berichtet der Geschäftsführung. So wird aus dem Programm ein Lernsystem statt einer Akte.
Die Bausteine im Überblick
| Baustein | Ergebnis | Verantwortlich | Prüfrhythmus |
|---|---|---|---|
| Bestandsaufnahme | KI-Register | Ansprechstelle mit Fachbereichen | laufend, quartalsweise |
| Risikoeinstufung | Risikoklasse je Anwendung | Owner, Datenschutz | bei Änderung, jährlich |
| Zuständigkeiten | Rollen und Freigaberegel | Geschäftsführung | jährlich |
| KI-Richtlinie | Verbindliche Policy | Geschäftsführung, Ansprechstelle | jährlich |
| Sichere Workflows | Prüf- und Dokumentationsschritte | Fachbereiche | quartalsweise |
| Schulung | Nachweise zur KI-Kompetenz | Personal, Ansprechstelle | jährlich, bei neuen Tools |
| Kontrolle | Bericht an die Geschäftsführung | Ansprechstelle | quartalsweise |
Software oder Begleitung: was KMU wirklich brauchen
Wer nach Governance-Tools sucht, findet Plattformen für Register, Risikobewertung und Nachweise. Solche Werkzeuge können Dokumentation ordnen. Die eigentlichen Fragen beantworten sie nicht: Welche Anwendung lohnt sich für Ihren Betrieb? Wie streng muss die Freigabe sein, damit sie schützt, ohne den Alltag zu bremsen? Wie bringen Sie einen Meister, eine Planerin und einen Vertriebsleiter dazu, die Regeln mitzutragen?
Diese Entscheidungen hängen an Branche, Größe und Kultur Ihres Unternehmens. In einem KMU entsteht ein tragfähiges Programm am schnellsten, wenn Geschäftsführung und Fachbereiche es gemeinsam mit jemandem erarbeiten, der Prozesse, Recht und Praxis zusammenbringt. Ob danach ein Tabellenblatt oder eine Software das Register führt, ist eine nachgelagerte Frage.
Mit uns zum eigenen KI-Compliance-Programm
Wir begleiten KMU in ganz Deutschland bei genau diesem Aufbau: mit der Analyse Ihrer Geschäftsprozesse, einem individuellen KI-Fahrplan, branchenspezifischen Schulungen zu KI-Grundlagen und Anwendung im Arbeitsalltag sowie persönlicher Betreuung durch zertifizierte INQA-Coaches. Dabei achten wir von Anfang an auf Datenschutzkonformität und auf einen schnellen, messbaren Nutzen.
Auf Wunsch übernehmen wir auch das Förderungsscouting und unterstützen Sie beim Förderantrag. Alle Formate von der KI-Strategieberatung bis zum Mitarbeiter-Training finden Sie auf unserer Leistungsseite, oder Sie vereinbaren direkt einen Termin.
Unsere Sicht: Compliance ist der Startpunkt, nicht die Bremse
Viele Geschäftsführer erleben den AI Act zuerst als zusätzliche Last. Wir sehen das anders. Wer einmal weiß, welche KI im Haus läuft, wer dafür verantwortlich ist und welche Daten wohin fließen, hat genau die Übersicht, die er für die nächsten KI-Projekte ohnehin braucht.
Ein KI-Compliance-Programm im Mittelstand muss schlank sein. Es muss zur Branche passen und in der Sprache der Leute geschrieben sein, die damit arbeiten. Deshalb verbinden wir die Pflichtteile, also Register, Risikoeinstufung, Richtlinie und Schulung, immer mit der Frage, wo KI im Betrieb echten Nutzen bringt. So entsteht kein Ordner für den Schrank, sondern ein Fahrplan, der sich rechnet.
Unsere Erfahrung als INQA-Coaches zeigt uns: Akzeptanz entsteht, wenn Mitarbeitende früh beteiligt werden und verstehen, warum es Regeln gibt. Klare Leitplanken schaffen Sicherheit. Und Sicherheit ist die Voraussetzung dafür, dass Teams KI mutig und produktiv einsetzen.
Shaun
Häufige Fragen
Muss ein kleines Unternehmen überhaupt ein KI-Compliance-Programm haben?
Der AI Act verlangt keinen Dokumententitel, aber konkrete Pflichten wie die KI-Kompetenz der Beschäftigten und die Einhaltung der Verbote gelten unabhängig von der Unternehmensgröße. Ein schlankes Programm ist der einfachste Weg, diese Pflichten nachweisbar zu erfüllen. Für einen Handwerksbetrieb reichen oft ein kurzes Register, eine zweiseitige Richtlinie und eine Schulung.
Dürfen Mitarbeitende ChatGPT im Unternehmen nutzen?
Ja, wenn klare Regeln gelten: freigegebene Konten, keine personenbezogenen oder vertraulichen Daten in der Eingabe und eine Prüfung der Ergebnisse vor der Verwendung. Die Forschung zeigt, dass klare Leitplanken die Schattennutzung besser senken als Verbote. Halten Sie diese Regeln in Ihrer KI-Richtlinie fest und schulen Sie das Team darauf.
Wie lange dauert der Aufbau eines KI-Compliance-Programms?
Das hängt von der Zahl der KI-Anwendungen und Standorte ab. Die Grundbausteine, also Register, Risikoeinstufung, Richtlinie und eine erste Schulung, lassen sich in einem KMU mit fokussierter Begleitung zügig aufsetzen. Danach geht das Programm in den regelmäßigen Prüfrhythmus über.
Wer ist im Unternehmen für KI-Compliance verantwortlich?
Die Gesamtverantwortung liegt bei der Geschäftsführung. Im Alltag tragen die Owner in den Fachbereichen die Verantwortung für ihre Anwendungen, unterstützt von einer zentralen Ansprechstelle und dem Datenschutz. Einen KI-Beauftragten schreibt der AI Act nicht vor, die bayerische Datenschutzaufsicht erwartet bei größeren Unternehmen aber eine solche Funktion.
Quellen
- KI-Gesetz tritt in Kraft, Vertretung der EU-Kommission in Deutschland
- IHK Köln: Verpflichtung im AI Act zur KI-Kompetenz im Unternehmen
- Handelsblatt Management Campus: KI-Kompetenz und rechtskonforme Nutzung
- Högemann, Hauff, Thomas: Von Schatten-IT zu Schatten-KI durch ChatGPT, Wirtschaftsinformatik & Management