Generative KI-Anwendungen sind Werkzeuge, die neue Inhalte erzeugen: Angebotsentwürfe, Zusammenfassungen, Antworten im Kundenservice, Produkttexte, Code oder Bilder. Für kleine und mittlere Unternehmen lohnen sie sich dort, wo viel Text, viele Dokumente und wiederkehrende Abstimmungen anfallen. Dieser Leitfaden zeigt die Einsatzfelder, die im Mittelstand tatsächlich tragen, vergleicht offene Sprachmodelle wie Llama 3 und Mistral, erklärt die rechtlichen Leitplanken in Deutschland und beschreibt, wie Sie in fünf Schritten zur ersten produktiven Anwendung kommen.
Kurz gesagt
- Generative KI erkennt Muster in großen Datenmengen und erzeugt daraus neue Inhalte. Sie formuliert sprachlich sauber, ist aber nicht automatisch faktentreu.
- Die stärksten Einsatzfelder für KMU sind Texterstellung und Recherche, Kundenservice, Dokumentenanalyse, Vertrieb und Personalwesen.
- Bei offenen Modellen entscheidet nicht die Größe, sondern der Test mit Ihren eigenen Daten: Kleinere Modelle schneiden in Studien oft genauso gut ab wie große.
- Datenschutz, Urheberrecht, Haftung, Arbeitsrecht und die EU-KI-Verordnung gehören von Anfang an ins Projekt.
- Starten Sie mit einem klar umrissenen Prozess, messen Sie den Nutzen und skalieren Sie erst danach.
Inhaltsverzeichnis
- Was generative KI ist und wie sie arbeitet
- Anwendungsfelder, die im Mittelstand tragen
- Offene Sprachmodelle im Vergleich: Llama 3, Mistral und Co.
- Was der Einsatz kostet
- Recht, Datenschutz und Qualität: die Leitplanken in Deutschland
- In fünf Schritten zur ersten Anwendung
- Unsere Sicht auf generative KI im Mittelstand
- Begleitung beim Einstieg
- Häufige Fragen
- Quellen
Was generative KI ist und wie sie arbeitet
Die Universität zu Köln beschreibt generative künstliche Intelligenz als eine Form der KI, die aus gelernten Mustern neue Inhalte erzeugt: Texte, Bilder, Videos oder Ton. Textsysteme wie Chatbots beruhen meist auf großen Sprachmodellen, sogenannten LLMs. Sie lernen statistische Zusammenhänge aus ihren Trainingsdaten und vervollständigen Texte nach Wahrscheinlichkeit. Daraus folgt der wichtigste Satz für jeden Praxiseinsatz: Ein Text kann grammatisch perfekt und trotzdem inhaltlich falsch sein.
Google formuliert es in seiner Hilfe zu generativer KI ähnlich nüchtern: Die Systeme denken nicht selbst und empfinden nichts, sie sind sehr gut darin, Muster zu erkennen und daraus Bilder, Musik oder Code zu erzeugen.
Technisch zerlegt ein Sprachmodell Text in kleine Einheiten, die Tokens. Je nach Modell sind das ganze Wörter, Wortteile oder einzelne Zeichen. Über diese Tokens verarbeitet das Modell Kontext und sprachliche Beziehungen. Für Sie als Unternehmen ist das aus zwei Gründen relevant: Abgerechnet wird bei vielen Diensten pro Token, und lange Wörter wie „Gewährleistungsfrist“ können aus mehreren Tokens bestehen. Wer Kosten plant, sollte deshalb mit echten deutschen Dokumenten aus dem eigenen Betrieb testen statt mit Schätzwerten.
Anwendungsfelder, die im Mittelstand tragen
Wie schnell sich generative KI in deutschen Unternehmen verbreitet hat, dokumentiert der Bitkom-Studienbericht „Künstliche Intelligenz in Deutschland“. Entscheidend ist aber nicht, ob ein Betrieb KI nutzt, sondern wofür. Die Publikation „Mensch und KI im Mittelstand“ des Bundeswirtschaftsministeriums nennt als typische Einsatzfelder Texterstellung und Recherche, Kundenservice, Dokumentenanalyse, Vertrieb und Personalwesen, dazu personalisierte Kundenansprache, Chatbots und die Aufbereitung von Entscheidungsgrundlagen. Die Übersicht übersetzt diese Felder in konkrete Aufgaben:
| Bereich | Konkrete Anwendung | Typischer Nutzen |
|---|---|---|
| Vertrieb | Angebotsentwürfe aus Vorlagen und Kundendaten, Zusammenfassung von Gesprächsnotizen | Schnellere Reaktion auf Anfragen |
| Marketing | Produkttexte, Newsletter-Varianten, personalisierte Ansprache je Zielgruppe | Mehr Inhalte bei gleichem Team |
| Kundenservice | Antwortvorschläge für E-Mails, Chatbot für häufige Fragen | Entlastung bei Standardanfragen |
| Dokumente | Verträge, Ausschreibungen und Normen zusammenfassen, Klauseln vergleichen | Weniger Lesezeit, schnellere Prüfung |
| Personal | Stellenanzeigen, Einarbeitungsunterlagen, Schulungsmaterial | Einheitliche Qualität, weniger Aufwand |
| Wissensmanagement | Interner Assistent, der Handbücher und Projektdokumentation durchsucht | Wissen bleibt verfügbar, auch wenn Erfahrene gehen |
| Technik und Produktion | Wartungsberichte strukturieren, Fehlerbeschreibungen auswerten, Code-Entwürfe | Schnellere Ursachenanalyse |
| Projektmanagement | Protokolle, Statusberichte, Aufgabenlisten aus Besprechungen | Weniger Verwaltungsarbeit |
Effizientere Prozesse im KMU und im Handwerk
Der größte Hebel liegt in wiederkehrenden Aufgaben. Ein Handwerksbetrieb, der täglich Anfragen per E-Mail bekommt, kann sich aus Stichworten einen Angebotstext vorformulieren lassen und prüft ihn nur noch. Aufmaß-Notizen werden zu einem sauberen Bericht, Baustellenfotos mit Sprachnotiz zu einer Dokumentation. Welche Abläufe sich dafür eignen, zeigen wir in unserem Beitrag zu KI im Handwerk. Laut Bundeswirtschaftsministerium steigern Unternehmen durch Automatisierung repetitiver Aufgaben ihre Effizienz und verbessern die Servicequalität.
Datengestützte Entscheidungen
Generative KI rechnet nicht zuverlässig, aber sie erschließt unstrukturierte Informationen. Eine Verkehrsplanerin kann Hunderte Stellungnahmen aus einer Bürgerbeteiligung nach Themen clustern und zusammenfassen lassen. Ein Ingenieurbüro bündelt Prüfberichte und Gutachten zu einer Entscheidungsvorlage. Die Zahlen selbst kommen aus Ihren Fachsystemen, die KI hilft beim Sortieren, Verdichten und Formulieren. Wie das mit internem Wissen zusammenspielt, beschreibt unser Artikel zu Wissensmanagement mit KI.
Personalisierte Kundenerlebnisse
Marketing-Verantwortliche nutzen generative KI, um aus einer Kernbotschaft Varianten für verschiedene Branchen, Regionen oder Kundensegmente zu erzeugen. Im Service liefert ein Assistent dem Mitarbeiter einen Antwortentwurf, der den bisherigen Kontakt berücksichtigt. Der Mensch bleibt Absender, die KI spart die Formulierungsarbeit.
Für die Fertigung haben wir die Einsatzfelder gesondert aufbereitet: KI in der Produktion zeigt, was dort heute funktioniert.
Offene Sprachmodelle im Vergleich: Llama 3, Mistral und Co.
Viele Unternehmen fragen nach offenen Modellen, weil sie sich auf eigener Infrastruktur oder bei einem Hoster ihrer Wahl betreiben lassen. Das gibt mehr Kontrolle darüber, wo Daten verarbeitet werden. Zwei Modellfamilien tauchen dabei besonders oft auf.
Llama 3 und Mistral im direkten Vergleich
Meta stellt Llama 3 als offene Modellsammlung mit den Versionen 3.1, 3.2 und 3.3 bereit. Mistral bietet neben seinen Modellen eine ganze Produktpalette an, mit der Organisationen eigene KI-Systeme aufbauen. Dazu gehört der Chat- und Coding-Assistent Mistral Vibe, früher Le Chat, in den Stufen Free, Pro, Team und Enterprise. Die Enterprise-Stufe umfasst individuelle Bereitstellungen, Modelltraining und dedizierten Support.
Spannend für deutschsprachige Anwendungen ist eine Studie zur Tumordokumentation aus Deutschland aus dem Jahr 2025. Darin erzielten Llama 3.1 8B und Mistral NeMo 12B vergleichbare Ergebnisse, und größere Modelle brachten keine Leistungssteigerung. Die Autoren sehen in maßgeschneidertem Fine-Tuning und gut gestalteten Prompts den Weg zu besseren Ergebnissen. Die Lehre für KMU: Das größte Modell ist nicht automatisch das beste für Ihre Aufgabe.
| Kriterium | Worauf Sie achten sollten |
|---|---|
| Deutsche Sprachqualität | Mit eigenen Texten testen: Fachbegriffe, Tonalität, lange Dokumente |
| Modellgröße | Kleinere Modelle laufen günstiger und oft schnell genug, große nur bei echtem Mehrwert |
| Lizenz | Bedingungen je Modell und Version auf der Anbieterseite prüfen, vor allem für kommerzielle Nutzung |
| Betrieb | Eigener Server, deutscher oder europäischer Hoster oder Cloud-API |
| Datenschutz | Ort der Verarbeitung, Auftragsverarbeitungsvertrag, Speicherung von Eingaben |
| Anpassbarkeit | Fine-Tuning, Anbindung an eigene Dokumente, Prompt-Vorlagen |
Welches Modell ist das beste für Deutsch?
Eine allgemeingültige Antwort gibt es nicht, und Ranglisten veralten innerhalb weniger Monate. Belastbar ist ein eigener Vergleich: Wählen Sie 20 bis 30 echte Aufgaben aus Ihrem Alltag, etwa Kundenanfragen, Vertragsauszüge oder Wartungsberichte. Lassen Sie zwei oder drei Modelle dieselben Aufgaben lösen und bewerten Sie die Ergebnisse mit den Fachleuten, die sonst diese Arbeit machen. Achten Sie auf drei Punkte: korrekte Fachsprache, Faktentreue gegenüber dem Quelldokument und ob der Ton zu Ihrem Unternehmen passt. Nach einem Nachmittag wissen Sie mehr als nach jeder Bestenliste.
Drei Wege, ein Modell zu betreiben
Für den Betrieb haben Sie im Kern drei Optionen. Erstens die Cloud-API eines Modellanbieters: schnell eingerichtet, abgerechnet nach Nutzung, aber mit der Pflicht, Verarbeitungsort und Vertragsbedingungen genau zu prüfen. Zweitens ein offenes Modell bei einem Hoster in Deutschland oder der EU: mehr Kontrolle über die Daten, ohne eigene Hardware anschaffen zu müssen. Drittens der Betrieb auf eigenen Servern im Haus: maximale Kontrolle, sinnvoll vor allem bei besonders sensiblen Daten wie Konstruktionsunterlagen oder Gesundheitsdaten, dafür mit eigenem Aufwand für Wartung und Updates. Viele KMU starten mit der ersten oder zweiten Variante und entscheiden nach dem Pilotprojekt, ob sich der Eigenbetrieb lohnt.
Was der Einsatz kostet
Bei Cloud-APIs zahlen Sie pro verarbeitetem Token, getrennt nach Eingabe und Ausgabe. Ein Beispiel aus der Preisliste von Mistral: Das dort angebotene Modell GLM 5.3 Flash kostet 0,15 US-Dollar pro Million Eingabe-Tokens und 0,50 US-Dollar pro Million Ausgabe-Tokens. Für viele Textaufgaben im Mittelstand sind die reinen Modellkosten damit gering. Teurer sind fast immer die anderen Posten: Einrichtung, Anbindung an bestehende Systeme, Pflege und vor allem die Zeit Ihrer Mitarbeitenden für Einarbeitung und Prüfung.
Beim Eigenbetrieb eines offenen Modells entfallen die Token-Gebühren, dafür kommen Hardware, Strom und Administration hinzu. Rechnen Sie deshalb nicht Modellpreise gegeneinander, sondern den gesamten Prozess: Wie viele Stunden spart die Anwendung pro Monat, und was kostet sie über ein Jahr inklusive Betreuung? Genau diese Rechnung machen wir mit Unternehmen an unserem KI-ROI-Tag.
Recht, Datenschutz und Qualität: die Leitplanken in Deutschland
Der Bitkom-Leitfaden „Generative KI im Unternehmen“ nennt fünf rechtliche Kernthemen: die EU-KI-Verordnung, Datenschutz, Urheberrecht, Haftung und Arbeitsrecht. Sie betreffen sowohl die Daten, die Sie eingeben, als auch die Ergebnisse, die das System liefert.
Die DIHK gibt in ihren Hinweisen zum Umgang mit generativen KI-Anwendungen drei praktische Empfehlungen:
- Prüfen Sie, wo die Datenverarbeitung stattfindet.
- Geben Sie keine sensiblen oder vertraulichen Daten in generative KI-Systeme ein.
- Lassen Sie KI-Inhalte von Menschen prüfen, besonders in der externen Kommunikation.
In der Praxis heißt das: Kundendaten, Personalakten und Konstruktionsunterlagen gehören nur in Systeme, deren Verarbeitungsort und Vertragslage Sie kennen. Klären Sie das mit Ihrem Datenschutzbeauftragten, bevor ein Tool eingeführt wird. Wenn KI Arbeitsabläufe oder die Leistungskontrolle von Beschäftigten berührt, beziehen Sie frühzeitig den Betriebsrat ein, sofern es einen gibt. Bei Verträgen, Rechtstexten oder Haftungsfragen bleibt die Fachanwältin oder der Fachanwalt die richtige Adresse, nicht der Chatbot.
In fünf Schritten zur ersten Anwendung
- Prozesse sichten. Listen Sie Abläufe mit viel Text, vielen Wiederholungen und klaren Regeln auf. Wie Sie dabei systematisch vorgehen, zeigt unser Beitrag zur Prozesslandkarte für KI.
- Einen Pilotfall wählen. Nehmen Sie einen Prozess mit messbarem Aufwand, etwa die Beantwortung von Standardanfragen, und legen Sie eine Kennzahl fest: Minuten pro Vorgang oder Durchlaufzeit.
- Modell und Betrieb festlegen. Testen Sie zwei bis drei Modelle mit echten Beispielen und klären Sie Datenschutz und Lizenz, bevor echte Daten fließen.
- Team befähigen. Wer gute Prompts schreibt und Ergebnisse kritisch prüft, holt deutlich mehr heraus. Kurze, praxisnahe Schulungen zahlen sich hier schnell aus.
- Messen und skalieren. Vergleichen Sie nach vier bis acht Wochen die Kennzahl mit dem Ausgangswert. Erst wenn der Nutzen belegt ist, übertragen Sie das Muster auf weitere Prozesse.
Mehr zum Einstieg finden Sie in unserem Leitfaden GenAI im Unternehmen, und für Projektteams lohnt der Blick auf KI im Projektmanagement.
Unsere Sicht auf generative KI im Mittelstand
Wir erleben in mittelständischen Betrieben immer wieder dasselbe Muster: Die Begeisterung für ein neues Tool ist groß, aber niemand hat vorher festgelegt, welcher Prozess damit besser werden soll. Das Ergebnis sind einzelne Lizenzen, die wenige nutzen, und ein Management, das sich fragt, wo der Nutzen bleibt.
Deshalb beginnen wir nie mit der Technik, sondern mit dem Prozess und der Frage nach dem Return on Investment. Welches Modell am Ende läuft, ob Llama, Mistral oder ein Cloud-Dienst, ist eine nachgelagerte Entscheidung. Sie ergibt sich aus Ihren Daten, Ihren Datenschutzanforderungen und Ihrem Budget.
Als zertifizierte INQA-Coaches wissen wir, dass KI-Einführung immer auch eine Frage der Menschen ist. Mitarbeitende, die verstehen, was ein Sprachmodell kann und wo es irrt, nutzen es produktiv. Darum gehören Schulungen bei uns fest zu jedem Projekt, zugeschnitten auf Branche und Unternehmensgröße. Und weil Fördermittel den Einstieg oft deutlich erleichtern, prüfen wir für unsere Kunden auch, welche Programme infrage kommen.
Shaun
Begleitung beim Einstieg
Wenn Sie generative KI nicht nur ausprobieren, sondern gezielt in Ihre Abläufe bringen wollen, unterstützen wir Sie von der Prozessanalyse bis zum geschulten Team. Unsere KI-Strategieberatung, Workshops und Mitarbeiter-Trainings richten sich an kleine und mittlere Unternehmen, persönlich betreut und deutschlandweit, mit Standorten in Saarbrücken und Nassenfels.
Dazu gehören individuelle KI-Fahrpläne, KI-Potenzialtage, Förderscouting mit Unterstützung bei Anträgen und Keynotes für Ihre Führungsrunde. Für ein erstes Gespräch können Sie direkt einen Termin vereinbaren.
Häufige Fragen
Was sind Beispiele für generative KI-Anwendungen im Unternehmen?
Typisch sind Angebots- und E-Mail-Entwürfe, Zusammenfassungen von Verträgen und Berichten, Chatbots für häufige Kundenfragen, Produkt- und Marketingtexte sowie interne Wissensassistenten. Im Handwerk kommen Angebotstexte und Baustellendokumentation hinzu, in der Technik die Auswertung von Wartungs- und Prüfberichten.
Ist Llama 3 oder Mistral besser für deutsche Texte?
Das hängt von Ihrer Aufgabe ab. In einer deutschen Studie zur Tumordokumentation lagen Llama 3.1 8B und Mistral NeMo 12B gleichauf. Testen Sie beide mit Ihren eigenen Dokumenten und bewerten Sie Fachsprache, Faktentreue und Tonalität.
Darf ich Kundendaten in ein KI-Tool eingeben?
Nur wenn Sie wissen, wo die Daten verarbeitet werden, und ein passender Vertrag mit dem Anbieter besteht. Die DIHK rät, sensible und vertrauliche Daten grundsätzlich nicht in generative KI-Systeme einzugeben. Klären Sie den Einsatz vorab mit Ihrem Datenschutzbeauftragten.
Wie schnell rechnet sich eine generative KI-Anwendung?
Das lässt sich nur am konkreten Prozess beantworten. Messen Sie vor dem Start den Zeitaufwand pro Vorgang und vergleichen Sie ihn nach einigen Wochen Pilotbetrieb. Die reinen Modellkosten sind bei Cloud-Diensten oft gering, den Ausschlag geben Einführung, Schulung und Prüfaufwand.
Worin unterscheidet sich generative KI von klassischer KI?
Klassische KI-Anwendungen erkennen, sortieren oder prognostizieren, etwa ob ein Bauteil fehlerhaft ist oder wie hoch der Bedarf im nächsten Monat sein wird. Generative KI erzeugt dagegen neue Inhalte wie Texte, Bilder oder Code. In der Praxis ergänzen sich beide: Die Prognose liefert die Zahl, die generative KI formuliert daraus den Bericht für die Geschäftsführung.
Quellen
- Universität zu Köln: Was ist generative künstliche Intelligenz?
- Google Suche-Hilfe: Informationen zu generativer KI
- Microsoft: Funktionsweise der generativen KI
- Bitkom: Künstliche Intelligenz in Deutschland, Studienbericht
- Bundeswirtschaftsministerium: Mensch und KI im Mittelstand
- Meta: Llama 3 Modelle
- Mistral Vibe: Tarife und Funktionen
- Springer: Can open source large language models be used for tumor documentation?
- Mistral Docs: API-Preise
- Bitkom: Leitfaden Generative KI im Unternehmen
- DIHK: Was Unternehmen beim Umgang mit generativen KI-Anwendungen beachten sollten