GenAI im Unternehmen: So gelingt der Einstieg im Mittelstand

Generative KI bringt Ihrem Unternehmen dann etwas, wenn sie eine konkrete, oft wiederkehrende Aufgabe schneller oder besser erledigt. Das sind etwa Angebote, Protokolle, Kundenanfragen oder die Suche im eigenen Wissen. Dafür brauchen Sie drei Dinge: einen klar umrissenen ersten Anwendungsfall, geschulte Mitarbeitende und ein paar verbindliche Regeln zu Daten, Tools und Verantwortung. Hier lesen Sie, wo der deutsche Mittelstand gerade steht, welche Einsätze sich lohnen, wie Sie in fünf Schritten vorgehen und wie eine GenAI-Governance aussieht, die ein KMU wirklich durchhält.

TL;DR

• Laut Statistischem Bundesamt nutzt 2025 rund jedes vierte Unternehmen in Deutschland KI. Kleine Betriebe liegen mit 23 % deutlich hinter Großunternehmen mit 57 %.
• Den schnellsten Nutzen bringen langweilige, wiederkehrende Aufgaben im Backoffice, nicht das spektakulärste Tool.
• Fangen Sie mit einem Pilotprojekt an, das eine messbare Kennzahl hat, und weiten Sie erst danach aus.
• GenAI-Governance heißt für KMU: freigegebene Tools, klare Datenregeln, benannte Verantwortliche und Schulung. Seit dem 2. August 2026 setzt die EU die Transparenzpflichten des AI Act durch.
• Technik allein bringt keinen ROI. Er entsteht erst, wenn Werkzeug, Schulung und angepasste Abläufe zusammenkommen.

Inhaltsverzeichnis

• Wo der Mittelstand 2026 steht
• Was generative KI im Betrieb leisten kann und was nicht
• Die Einführung in fünf Schritten
• GenAI-Governance: schlanke Leitplanken statt dickem Regelwerk
• Unsere Sicht: Klein anfangen, früh messen, Menschen mitnehmen
• Rollen, Kompetenzen und die Frage nach den Fachkräften
• Wie wir Sie beim Einstieg unterstützen
• Häufige Fragen
• Quellen

Wo der Mittelstand 2026 steht

Die Zahlen zeigen eine klare Lücke. Im Jahr 2025 setzten 26 % der Unternehmen mit mindestens 10 Beschäftigten KI-Technologien ein. Bei kleinen Unternehmen mit 10 bis 49 Beschäftigten waren es 23 %, bei mittleren mit 50 bis 249 Beschäftigten 36 % und bei Großunternehmen 57 %. Ein Jahr zuvor meldete Destatis noch, dass jedes fünfte Unternehmen KI nutzt. Die Verbreitung wächst also schnell, aber die kleinen Betriebe holen am langsamsten auf.

Aufschlussreicher ist, warum Unternehmen bisher auf KI verzichten. Wer den Einsatz erwogen, aber noch nicht umgesetzt hat, nennt vor allem fehlendes Wissen (72 %), unklare rechtliche Folgen (62 %) und Bedenken beim Datenschutz (60 %). Danach folgen Inkompatibilität mit vorhandener Software (45 %) und Probleme mit der Datenqualität (44 %).

Am Geld oder an der Technik scheitert der Einstieg also selten. Es fehlen Wissen, Rechtssicherheit und Regeln. Diese drei Punkte lassen sich in wenigen Wochen klären, wenn man strukturiert vorgeht.

Was generative KI im Betrieb leisten kann und was nicht

Generative KI erzeugt Inhalte: Text, Code, Bilder, Zusammenfassungen, Entwürfe. Sie ist stark beim Formulieren, Strukturieren, Übersetzen und beim Finden von Informationen in großen Textmengen. Schwach ist sie überall dort, wo exakte Fakten ohne Prüfung zählen. Ein Sprachmodell kann plausibel klingende Fehler produzieren. Deshalb gehört an jede Stelle, an der ein KI-Ergebnis das Haus verlässt, ein Mensch, der es freigibt.

Diese Einsätze funktionieren in KMU erfahrungsgemäß gut:

Zu einigen dieser Bereiche haben wir eigene Leitfäden geschrieben, etwa zu CRM mit KI, zur Vertragsanalyse mit KI, zu KI in der Produktion und zum Wissensmanagement mit KI.

Was GenAI nicht ersetzt: Fachwissen, Verantwortung und das Urteil darüber, ob ein Ergebnis stimmt. Ein Handwerksbetrieb, der Angebote per KI vorformulieren lässt, braucht weiterhin den Meister, der Mengen und Preise kontrolliert. Und ein Verkehrsplaner, der Gutachten zusammenfassen lässt, prüft die Zahlen selbst.

Die Einführung in fünf Schritten

Das Fraunhofer-Whitepaper zu generativer KI in KMU stellt einen Punkt in den Mittelpunkt: Die Einführung muss menschenzentriert gestaltet werden, Technik allein reicht nicht. In der Praxis hat sich diese Reihenfolge bewährt:

1. Prozesse sichten, nicht Tools. Listen Sie die Aufgaben auf, die Ihr Team jede Woche Zeit kosten und nach festem Muster ablaufen. Gute Kandidaten erkennen Sie an drei Merkmalen: hohes Volumen, viel Text, geringes Risiko bei einem Fehler, der vor der Freigabe auffällt.
2. Einen Pilotfall auswählen und messen. Wählen Sie genau einen Anwendungsfall und erheben Sie vorher den Ist-Wert: Wie lange dauert ein Angebot heute, wie viele Tickets schafft eine Person am Tag? Ohne diesen Ausgangswert können Sie später keinen ROI belegen.
3. Werkzeug und Datenzugang klären. Entscheiden Sie, ob ein Standard-Assistent mit Unternehmenslizenz reicht oder ob die KI auf interne Dokumente zugreifen muss. Prüfen Sie, wo die Daten verarbeitet werden, ob sie zum Training verwendet werden und wie lange Chats gespeichert bleiben.
4. Das Team schulen und die Abläufe anpassen. Zeigen Sie an echten Beispielen aus dem eigenen Betrieb, wie man gute Anweisungen formuliert, Ergebnisse prüft und was nicht in die KI gehört. Danach legen Sie fest, an welcher Stelle im Ablauf die KI arbeitet und wer freigibt.
5. Auswerten, dann skalieren. Nach vier bis acht Wochen vergleichen Sie den Ist-Wert mit dem neuen Wert. Hat sich der Pilot gelohnt, übertragen Sie das Muster auf den nächsten Prozess. Hat er sich nicht gelohnt, wissen Sie es wenigstens früh und günstig.

Die Forschung bestätigt diese Reihenfolge. Ein Beitrag in Wirtschaftsinformatik & Management beschreibt, wie generative KI in vielen Unternehmen zunächst ein Schattendasein führte: Einzelne Mitarbeitende nutzten sie ohne interne Vorgaben. Diese Phase ist heute in vielen Betrieben noch nicht vorbei. Deshalb gehört die Frage nach Regeln an den Anfang und nicht ans Ende.

GenAI-Governance: schlanke Leitplanken statt dickem Regelwerk

Unter Governance verstehen viele Geschäftsführer einen Ordner, den keiner liest. Für generative KI funktioniert das nicht. Die Forscher des MIT CISR halten fest, dass klassische IT-, Daten- und KI-Governance-Rahmen nicht ausreichen, um GenAI abzubilden. Nötig sind Mechanismen, die Innovation ermöglichen und gleichzeitig Leitplanken setzen, etwa freigegebene Verwendungszwecke und klare Datenfreigaben. Eine Analyse in Policy and Society geht weiter und beschreibt GenAI als komplexes, adaptives System. Die Regeln müssen also mitwachsen, wenn neue Anwendungen dazukommen.

Für ein KMU heißt das konkret: Halten Sie die Governance schlank und verbindlich. Diese sechs Bausteine reichen für den Anfang:

• Freigegebene Tools: eine kurze Liste der erlaubten Anwendungen mit Firmenkonten statt privater Accounts. So bleibt die Schatten-IT klein.
• Datenklassen: Was darf in die KI (öffentliche Texte, interne Entwürfe ohne Personenbezug), was nie (Kundendaten, Personalakten, Geschäftsgeheimnisse)?
• Trainings- und Löschregeln: Stellen Sie sicher, dass Firmendaten nicht zum Training öffentlicher Modelle verwendet werden, und legen Sie Löschfristen für Chatverläufe fest.
• Menschliche Freigabe: Was nach außen geht, prüft ein Mensch. Das gilt besonders für Angebote, Verträge und Fachaussagen.
• Verantwortliche: eine benannte Person, die Fragen beantwortet, Tools freigibt und die Regeln jährlich überprüft.
• Kennzeichnung: Regeln dafür, wann KI-generierte Inhalte und Chatbots für Kunden als solche erkennbar sein müssen.

Praktische Hinweise zu Konten, Schnittstellen und Datenabfluss gibt das BSI in seiner Broschüre Sichere generative KI in Organisationen und Unternehmen. Wie Sie diese Bausteine in ein kurzes Dokument gießen, zeigen wir im Beitrag Brauchen Unternehmen jetzt eine AI Policy?. Einen vollständigen Umsetzungsplan finden Sie in unserem Leitfaden zur KI-Governance für KMU.

Was der AI Act jetzt von Ihnen verlangt

Die europäische KI-Verordnung ist seit August 2024 in Kraft, ihre Pflichten gelten gestaffelt. Seit dem 2. August 2026 setzen das European AI Office und die nationalen Behörden das Gesetz durch. Gleichzeitig gelten neue Transparenzanforderungen. Wer Kunden über einen Chatbot ansprechen lässt, muss sie darüber informieren, dass sie mit einer KI kommunizieren. KI-generierte Inhalte wie Deepfakes sind zu kennzeichnen.

Bei Verstößen drohen laut EU-Kommission Bußgelder von bis zu 7 % des weltweiten Jahresumsatzes für verbotene Anwendungen, bis zu 3 % für andere Pflichtverletzungen und bis zu 1,5 % für falsche Angaben. Welche Pflichten für Ihre konkrete Anwendung gelten, hängt von der Risikoklasse ab. Eine Übersicht bietet unser Beitrag zu den Risikoklassen des AI Act.

Dazu kommt die Pflicht zur KI-Kompetenz. Nach Artikel 4 müssen Unternehmen, die KI einsetzen, sicherstellen, dass ihre Mitarbeitenden über ausreichende KI-Kompetenz verfügen. Das erklärt die IHK Hannover. Schulung ist damit nicht nur sinnvoll, sondern Teil Ihrer Sorgfaltspflicht. Dokumentieren Sie, wer wann zu welchen Inhalten geschult wurde.

Für eine erste Einordnung, ob und wie die Verordnung Ihre Systeme betrifft, bietet die Bundesnetzagentur einen KI-Service Desk mit einem Compliance Kompass und kostenfreien Informationsangeboten. Setzen Sie KI in Personalentscheidungen, in der Bewertung von Bewerbern oder in sicherheitsrelevanten Abläufen ein, lassen Sie die Einstufung zusätzlich von Ihrem Datenschutzbeauftragten oder einer auf IT-Recht spezialisierten Kanzlei prüfen. Dort können strengere Pflichten gelten.

Unsere Sicht: Klein anfangen, früh messen, Menschen mitnehmen

Wir begleiten kleine und mittelständische Unternehmen bei der Einführung von KI, und ein Muster sehen wir immer wieder: Projekte scheitern selten an der Technik. Sie scheitern daran, dass niemand vorher festgelegt hat, welches Problem gelöst werden soll und woran man den Erfolg erkennt. „Wir sollten auch etwas mit KI machen“ ist kein Projektauftrag.

Deshalb beginnen wir nicht mit einer Tool-Demo, sondern mit Ihren Abläufen. Welche Aufgabe frisst jede Woche Stunden und ärgert Ihr Team? Dort setzen wir an, mit einem Ziel, das sich in Minuten oder Euro ausdrücken lässt. Ein Ansatz, der schnell einen messbaren Return on Investment liefert, überzeugt die Belegschaft mehr als jede Strategiepräsentation.

Der zweite Punkt ist der Mensch. Als zertifizierte INQA-Coaches wissen wir: Eine neue Technologie verändert Arbeit, Rollen und manchmal auch Ängste. Wer Mitarbeitende früh einbindet, an echten Beispielen schult und offen darüber spricht, was sich ändert und was nicht, bekommt Nutzer statt Skeptiker. Datenschutzkonformität ist dabei kein Hemmschuh. Sie ist die Voraussetzung dafür, dass Geschäftsführung und Team der Lösung vertrauen.

Und schließlich: Ein Handwerksbetrieb mit zwölf Leuten braucht etwas anderes als ein Ingenieurbüro mit 150 Beschäftigten. Branche und Unternehmensgröße bestimmen, welcher Fahrplan passt. Fertige Schablonen helfen selten.

— Shaun

Rollen, Kompetenzen und die Frage nach den Fachkräften

GenAI verschiebt Aufgaben, sie macht Menschen aber nicht überflüssig. In den meisten KMU sehen wir den gegenteiligen Effekt: Die frei werdende Zeit fließt in Beratung, Qualität und Kundenkontakt, also in Arbeit, die vorher liegen blieb. Damit das gelingt, braucht jedes Unternehmen ein paar klare Rollen:

• Sponsor in der Geschäftsführung, der Prioritäten setzt und Ressourcen freigibt.
• KI-Verantwortliche oder KI-Verantwortlicher, oft jemand aus IT, Qualitätsmanagement oder Organisation, der Tools und Regeln betreut.
• Key User in den Fachabteilungen, die Anwendungsfälle vorschlagen, testen und Kolleginnen und Kollegen helfen.
• Datenschutz und Betriebsrat, sofern vorhanden, von Anfang an eingebunden statt am Ende gefragt.

Im Personalbereich wirft GenAI eigene Fragen auf: Welche Aufgaben im Recruiting darf eine KI übernehmen, und wo bleibt die Entscheidung beim Menschen? Darauf gehen wir im Beitrag KI im HR ein. Eines kann KI dabei nicht: den Fachkräftemangel lösen. Sie kann Ihre Stellenanzeigen verbessern und die Bewerberkommunikation beschleunigen. Bewerber gewinnen Sie aber erst, wenn Ihr Betrieb als Arbeitgeber sichtbar und attraktiv ist. Wer parallel zur KI-Einführung Personal sucht, findet hilfreiche Ansätze für Employer Branding im Mittelstand mit kleinem Budget. Ein moderner, KI-kompetenter Arbeitsplatz ist übrigens selbst ein Argument, mit dem Sie bei jüngeren Bewerberinnen und Bewerbern punkten können.

Typische Stolpersteine

• Zu viele Tools gleichzeitig: Jede Abteilung testet etwas anderes, am Ende gibt es keine gemeinsamen Regeln und keine vergleichbaren Ergebnisse.
• Keine Ausgangsmessung: Ohne Ist-Wert bleibt der Nutzen ein Bauchgefühl.
• Schulung als Einmal-Event: Modelle und Funktionen ändern sich schnell. Kurze, regelmäßige Auffrischungen wirken besser als ein einziger Tagesworkshop.
• Datenqualität unterschätzt: Wenn Ihre Handbücher veraltet und verstreut sind, findet auch die beste KI keine guten Antworten. Aufräumen gehört zum Projekt.

Wie wir Sie beim Einstieg unterstützen

Sie möchten GenAI einführen, ohne monatelang zu planen? Wir analysieren Ihre Geschäftsprozesse, entwickeln einen individuellen KI-Fahrplan und schulen Ihr Team branchenspezifisch an Beispielen aus Ihrem Arbeitsalltag. Auf Wunsch übernehmen wir auch das Förderungsscouting und unterstützen Sie beim Förderantrag. Die Betreuung läuft persönlich über unsere zertifizierten INQA-Coaches. Einen kompakten Einstieg bietet unser KI-ROI-Tag, an dem wir gemeinsam Ihre aussichtsreichsten Anwendungsfälle herausarbeiten. Einen Überblick über Strategieberatung, Workshops, Mitarbeitertrainings und Keynotes finden Sie auf unserer Seite Leistungen. Oder Sie vereinbaren direkt einen Termin.

Häufige Fragen

Was kann GenAI im Unternehmen konkret leisten?

Generative KI entwirft Texte, fasst Dokumente zusammen, übersetzt, beantwortet Fragen zu internem Wissen und unterstützt beim Programmieren. Im Mittelstand lohnt sie sich vor allem bei wiederkehrenden Aufgaben mit viel Text, etwa Angeboten, Kundenanfragen, Protokollen und Vertragsprüfung. Die Ergebnisse sind Entwürfe, die ein Mensch prüft und freigibt.

Was gehört zu einer GenAI-Governance?

Eine Liste freigegebener Tools, klare Regeln dazu, welche Daten in die KI dürfen, Lösch- und Trainingsvorgaben, die menschliche Freigabe vor der Veröffentlichung, eine benannte verantwortliche Person und dokumentierte Schulungen. Für KMU reicht oft ein kurzes, verbindliches Dokument, das jährlich überprüft wird. Wichtig ist, dass die Regeln mit neuen Anwendungen mitwachsen.

Kann HR durch KI ersetzt werden?

Nein. KI kann Stellenanzeigen formulieren, Bewerberfragen beantworten und Verwaltungsaufgaben beschleunigen, aber Personalentscheidungen und Mitarbeiterführung bleiben beim Menschen. Wenn KI Bewerber bewertet oder auswählt, können nach dem AI Act strengere Pflichten gelten. Lassen Sie solche Einsätze vorab rechtlich prüfen.

Brauchen wir für ChatGPT und Co. eine Schulung der Mitarbeitenden?

Ja. Der AI Act verpflichtet Unternehmen, die KI einsetzen, für ausreichende KI-Kompetenz ihrer Mitarbeitenden zu sorgen. Unabhängig davon arbeiten geschulte Teams sicherer und holen deutlich mehr aus den Werkzeugen heraus. Dokumentieren Sie Inhalte und Teilnehmende.

Wie lange dauert die Einführung von GenAI in einem KMU?

Ein erster Pilot mit einem klar umrissenen Anwendungsfall lässt sich meist in wenigen Wochen aufsetzen und auswerten. Die Ausweitung auf weitere Prozesse ist ein fortlaufendes Projekt, das sich am gemessenen Nutzen orientiert. Schneller als die Technik sind oft die Fragen nach Regeln, Daten und Zuständigkeiten zu klären.

Quellen

• Destatis: Unternehmen mit Nutzung von KI nach Beschäftigtengrößenklassen
• Destatis: Jedes fünfte Unternehmen nutzt künstliche Intelligenz
• Destatis: Gründe gegen die Nutzung von KI
• Fraunhofer: Generative KI in KMU menschenzentriert gestalten
• Wirtschaftsinformatik & Management: Generative KI erfolgreich in Unternehmen implementieren
• MIT CISR: The Governance of Generative AI
• Policy and Society: Responsible governance of generative AI
• BSI: Sichere generative KI in Organisationen und Unternehmen
• EU-Kommission: Stichtag 2.8.2026, Durchsetzung des KI-Gesetzes
• EU-Kommission: KI-Gesetz tritt in Kraft
• IHK Hannover: KI-Kompetenzen im Unternehmen sichern
• Wirtschaft digital BW: KI-Service Desk der Bundesnetzagentur

Empfehlungen

• KI in der Produktion: Was heute wirklich funktioniert