Keine Rechtsberatung. Dieser Ratgeber fasst öffentliche Quellen zusammen, Stand siehe oben. Die kleinen Nummern im Text führen zur jeweiligen Quelle am Ende. Anbieter und Behörden ändern ihre Angaben laufend, deshalb ohne Gewähr für Vollständigkeit und Aktualität. Was für Ihr Unternehmen gilt, hängt vom Einzelfall ab. Klären Sie das mit Ihrem Datenschutzbeauftragten oder Ihrer Rechtsberatung.
Kurz gesagt
- Läuft das System im eigenen Haus, lässt sich laut Datenschutzkonferenz vermeiden, dass personenbezogene Daten an Online-Anbieter großer Sprachmodelle gehen.2
- Die Datenschutzpflichten bleiben: Berechtigungen, Löschung, Betroffenenrechte und je nach Risiko eine Datenschutz-Folgenabschätzung.2, 3
- Offene Modelle haben eigene Lizenzen. Für die multimodalen Llama®-4-Modelle etwa erhalten Unternehmen mit Hauptsitz in der EU laut Metas Nutzungsrichtlinie keine Nutzungsrechte.6, 7
- Auch lokale Werkzeuge können Verbindungen nach außen aufbauen, etwa für Updates, Cloud-Modelle oder Nutzungsstatistiken.11, 12, 13
- Für den Einstieg gibt es Werkzeuge wie Ollama® oder Open WebUI®, die laut ihrer Dokumentation auf eigenen Rechnern laufen.11, 16 Wie Sie vorgehen, steht im Abschnitt zur Einführung im Mittelstand.
Was mit lokaler KI gemeint ist
Bei lokaler KI läuft das Sprachmodell auf Rechnern im eigenen Unternehmen statt in der Cloud eines Anbieters. Oft wird es mit den eigenen Dokumenten verbunden, damit es Fragen dazu beantworten kann. Dieses Verfahren heißt Retrieval Augmented Generation, kurz RAG.2
Die Datenschutzkonferenz (DSK) unterscheidet offene Systeme, die ein Anbieter etwa als Cloud-Lösung betreibt, und geschlossene Systeme. Bei geschlossenen Systemen liegt laut DSK „die Kontrolle über die Ein- und Ausgabedaten“ bei den Anwendenden.1 Ob ein lokales System in diesem Sinne geschlossen ist, hängt von seiner Einrichtung ab.
Was lokaler Betrieb für den Datenschutz bringt
Die DSK hat im Oktober 2025 eine eigene Orientierungshilfe zu RAG-Systemen veröffentlicht. Sie legt ausdrücklich ein Szenario zugrunde, in dem das gesamte System „on-premise bei einem Verantwortlichen betrieben wird“. Den Vorteil beschreibt sie so: „Dadurch kann vermieden werden, dass personenbezogene Daten an Online-Betreiber großer Sprachmodelle übertragen werden.“2
Die Pflichten nach der DSGVO entfallen dadurch nicht. Die DSK nennt unter anderem:
- Berechtigungen. Im Sprachmodell selbst lässt sich laut DSK nicht steuern, welche Nutzer auf welche Informationen zugreifen dürfen. Mitarbeiter müssen vor der Abfrage die für den Zweck passende Rolle erhalten.2
- Neue Datenquellen. Bei jeder Erweiterung um Datenquellen ist laut DSK zu prüfen, ob alle, die Zugriff auf das System haben, auch die neuen Daten sehen dürfen.3
- Vertrauenswürdige Quellen. „Dokumente aus unbekannten oder nicht vertrauenswürdigen Quellen sollten daher nicht verwendet werden.“ Bei Einbindung einer Websuche werden die Anforderungen an die Datenquellen laut DSK regelmäßig nicht erfüllt.2
- Löschung und Betroffenenrechte. Die Probleme bei der Datenlöschung im Sprachmodell bleiben laut DSK bestehen, die Umsetzung von Betroffenenrechten sei „weitgehend ungelöst“.2
- Datenschutz-Folgenabschätzung. Bei voraussichtlich hohem Risiko ist sie nach Art. 35 DSGVO durchzuführen.3
Eine zweite Orientierungshilfe der DSK zu technischen und organisatorischen Maßnahmen richtet sich „vorrangig an Hersteller:innen und Entwickler:innen von KI-Systemen“. Sie empfiehlt unter anderem, bewusst über die lokale Nutzung und notwendige Onlineverbindungen zu entscheiden.3 Unsere Einschätzung: Für Unternehmen, die ein System nur betreiben, taugt sie als Orientierung.
Was auch lokal ein Risiko bleibt
Einige Risiken von Sprachmodellen bestehen unabhängig davon, wo das Modell läuft. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) nennt unter anderem:
- Halluzinationen. Laut BSI ein großes Problem, „da die generierten Ausgaben zumeist glaubhaft erscheinen“.4
- Indirect Prompt Injection. Dabei stammt laut BSI eine schädliche Anweisung „aus einer externen Datenquelle, beispielsweise einem Dokument oder einer Webseite, welche vom Modell verarbeitet wird“. Typische Folgen sind Datenabflüsse, die Offenlegung des System-Prompts oder fehlerhafte Ergebnisse. Indirect Prompt Injections gelten laut BSI „weiterhin als nicht abschließend lösbares Problem“.5
- Erweiterungen von Drittanbietern. Werden Zusatzfunktionen von Drittanbietern angeboten, ist laut BSI „ein Datenabfluss an diese denkbar“.4
- Manipulierte Modelle. Laut BSI ist denkbar, dass öffentlich geteilte Modelle „gezielt manipuliert und anschließend verbreitet werden“.4 Unsere Empfehlung: Modelle nur aus vertrauenswürdiger Quelle laden.
Offene Modelle, eigene Lizenzen
Viele lokal nutzbare Modelle werden mit offenen Gewichten veröffentlicht. Ihre Lizenzen unterscheiden sich aber deutlich. Einige Beispiele:
| Modell | Lizenz |
|---|---|
| Google® Gemma 48 | Apache 2.0 |
| OpenAI gpt-oss10 | Apache 2.0 |
| Mistral9 | je nach Modell: teils Apache 2.0, teils abweichend, etwa „Modified MIT“ bei Mistral Medium 3.5 |
| Meta Llama 46, 7 | Llama 4 Community License; für die multimodalen Modelle keine Nutzungsrechte für Unternehmen mit Hauptsitz in der EU |
Llama 4 und die EU
In Metas Nutzungsrichtlinie zu Llama 4 heißt es: „With respect to any multimodal models included in Llama 4, the rights granted under Section 1(a) of the Llama 4 Community License Agreement are not being granted to you if you are an individual domiciled in, or a company with a principal place of business in, the European Union.“ Für Endnutzer eines Produkts, das solche Modelle enthält, gilt die Einschränkung laut Richtlinie nicht.6 Laut Modellkarte sind die Llama-4-Modelle „natively multimodal“.7
Auch Werkzeuge haben eigene Lizenzen. Open WebUI etwa verlangt seit Version 0.6.6, dass Name und Logo sichtbar bleiben. Ausnahmen gelten laut Projekt unter anderem für Installationen mit höchstens 50 Nutzern in 30 Tagen und mit einer Enterprise-Lizenz, die das ausdrücklich erlaubt.18
Unsere Empfehlung: Lizenz und Nutzungsrichtlinie vor dem Einsatz lesen und ablegen, auch bei bekannten Namen. Mit einer neuen Modellversion kann sich die Lizenz ändern.
Lokal heißt nicht automatisch offline
Für den Betrieb gibt es Werkzeuge, die Modelle auf eigenen Rechnern ausführen. Vier Beispiele und was ihre Dokumentation zu Verbindungen nach außen sagt:
- Ollama: „Ollama runs locally. We don't see your prompts or data when you run locally.“11 Es gibt aber auch Cloud-Modelle, deren Anfragen und Antworten Ollama laut Dokumentation selbst verarbeitet. Die Cloud-Funktion lässt sich abschalten.12 Unter macOS und Windows® lädt Ollama Updates automatisch herunter.11
- vLLM: sammelt laut Dokumentation standardmäßig anonyme Nutzungsdaten. Das lässt sich per Einstellung abschalten.13
- LM Studio: laut Nutzungsbedingungen für persönliche und interne geschäftliche Zwecke nutzbar.14
- Open WebUI: eine selbst gehostete Chat-Oberfläche, die laut Dokumentation mit Ollama und OpenAI-kompatiblen Schnittstellen arbeitet und „built to run entirely offline“ ist.16 Der Offline-Modus regelt laut Dokumentation aber nur die Verbindungen, die Open WebUI selbst aufbaut. Eingerichtete Verbindungen, etwa zu externen Modellen oder einer Websuche, blockiert er nicht. Das leistet laut Dokumentation erst eine Abschottung auf Netzwerkebene.17
Die DSK empfiehlt, bewusst über die lokale Nutzung und notwendige Onlineverbindungen zu entscheiden.3 Unsere Empfehlung: Einstellungen für Cloud-Funktionen, Updates und Nutzungsstatistiken prüfen und Verbindungen nach außen technisch begrenzen.
KI-Verordnung: Betreiber oder Anbieter?
Wer ein KI-System „in eigener Verantwortung verwendet“, ist nach der KI-Verordnung Betreiber. Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt. Zur Inbetriebnahme zählt laut Verordnung auch der Eigengebrauch.15
Unsere Einschätzung: Wer aus einem offenen Modell ein eigenes System baut, etwa einen Chat über die eigenen Dokumente, kann damit Anbieter dieses Systems sein. Welche Pflichten daraus folgen, hängt vor allem von der Risikoklasse ab und ist im Einzelfall zu prüfen. Die Pflicht zur KI-Kompetenz nach Art. 4 gilt für Anbieter und Betreiber.15 Mehr dazu im Ratgeber KI-Schulung Pflicht.
So führen Sie lokale KI im Mittelstand ein
Unsere Empfehlung, abgeleitet aus den Orientierungshilfen der DSK, den Hinweisen des BSI und der Dokumentation der Werkzeuge:
- Anwendungsfall und Daten festlegen. Welche Aufgabe soll die KI übernehmen, mit welchen Dokumenten, und wer darf diese Dokumente sehen? Im Sprachmodell selbst lassen sich Zugriffsrechte laut DSK nicht steuern, die passende Rolle muss vor der Abfrage feststehen.2
- Risiko einschätzen. Bei voraussichtlich hohem Risiko ist eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO durchzuführen.3
- Modell nach Lizenz auswählen. Die Lizenzen offener Modelle unterscheiden sich deutlich.6, 8, 9, 10 Lizenz und Nutzungsrichtlinie vor dem Einsatz lesen und ablegen.
- Klein anfangen. Ein Modell zuerst auf einem einzelnen Rechner mit unkritischen Testdaten ausprobieren, etwa mit Ollama oder LM Studio.11, 14
- Für mehrere Nutzer eine Oberfläche einrichten. Selbst gehostete Oberflächen wie Open WebUI binden lokale Modelle laut Dokumentation zum Beispiel über Ollama an.16
- Verbindungen nach außen begrenzen. Cloud-Funktionen, automatische Updates und Nutzungsstatistiken prüfen und abschalten, wo sie nicht gebraucht werden.11, 12, 13, 17 Die DSK empfiehlt, darüber bewusst zu entscheiden.3
- Dokumente erst nach Prüfung anbinden. Nur Dokumente aus vertrauenswürdigen Quellen verwenden und bei jeder neuen Datenquelle prüfen, ob alle Nutzer sie sehen dürfen.2, 3 Für dokumentbasierte Chats beschreibt das BSI einen Basisschutz gegen Indirect Prompt Injections.5
- Team schulen. Die Pflicht zur KI-Kompetenz nach Art. 4 gilt auch für lokal betriebene KI.15 Mehr dazu im Ratgeber KI-Schulung Pflicht.
Wie wir das sehen
Wir betreiben selbst eine lokale KI für vertrauliche Daten. Unsere Erfahrung: Der Betrieb im eigenen Haus beantwortet die Frage, wohin Daten fließen. Berechtigungen, Lizenzen und Sicherheit gehören trotzdem vor dem Start geklärt.
Als Softwarehaus setzen wir lokale KI um, von der Anbindung an Ihre Systeme bis zum Betrieb. Hardware verkaufen wir nicht. Mehr dazu unter KI-Umsetzung. Welche Aufgaben sich in Ihrem Betrieb lohnen, klärt die KI-Potenzialanalyse.
Quellen
- Datenschutzkonferenz: Orientierungshilfe Künstliche Intelligenz und Datenschutz (Stand: 6. Mai 2024)
- Datenschutzkonferenz: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode (Stand: Version 1.0, Oktober 2025)
- Datenschutzkonferenz: Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen (Stand: Version 1.0, Juni 2025)
- BSI: Generative KI-Modelle, Chancen und Risiken für Industrie und Behörden (Stand: Version 2.0, 17. Januar 2025)
- BSI: Basisschutz gegen Indirect Prompt Injections in dokumentbasierten LLM-Chats (Stand: Version 1.0, 14. September 2026)
- Meta: Llama 4 Acceptable Use Policy (Stand: abgerufen 12. Oktober 2026)
- Meta: Llama 4 Model Card (Stand: abgerufen 12. Oktober 2026)
- Google: Gemma 4 License (Stand: Stand 1. April 2026)
- Mistral AI: Modellübersicht (Stand: abgerufen 12. Oktober 2026)
- OpenAI: gpt-oss-120b Modellkarte (Stand: abgerufen 12. Oktober 2026)
- Ollama: FAQ (Stand: abgerufen 12. Oktober 2026)
- Ollama: Cloud (Stand: abgerufen 12. Oktober 2026)
- vLLM: Usage Stats Collection (Stand: abgerufen 12. Oktober 2026)
- LM Studio: App Terms (Stand: abgerufen 12. Oktober 2026)
- Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 3 und 4 (Stand: Amtsblatt vom 12. Juli 2024)
- Open WebUI: Dokumentation (Stand: abgerufen 12. Oktober 2026)
- Open WebUI: Hardening (Stand: abgerufen 12. Oktober 2026)
- Open WebUI: License (Stand: abgerufen 12. Oktober 2026)

