Glossar
Lokales Sprachmodell:
KI auf eigener Hardware.
Wer sensible Daten nicht aus dem Haus geben will, fragt zuerst nach einem lokalen Modell. Es ist eine ernstzunehmende Option, aber mit Aufwand, Grenzen und eigener Verantwortung verbunden.
Kurz gesagtEin lokales Sprachmodell läuft auf Hardware, die Sie selbst oder ein von Ihnen gewählter Dienstleister betreiben, statt über das Internet beim Anbieter. Die Daten bleiben im eigenen Bereich. Dafür tragen Sie Hardware, Betrieb, Updates und Absicherung.
Was ein lokales Sprachmodell ist
Die bekanntesten Sprachmodelle werden von Anbietern betrieben. Ihre Anfrage geht über das Internet an deren Rechenzentrum, und die Antwort kommt zurück. Ein lokales Modell kehrt das um: Das Modell liegt als Datei bei Ihnen und läuft auf einem eigenen Server oder leistungsfähigen Rechner. Es gibt dafür Modelle, deren Gewichte veröffentlicht sind und die unter bestimmten Lizenzen betrieben werden dürfen.
Der Reiz liegt in der Kontrolle. Eingaben, Unterlagen und Antworten verlassen Ihr Netz nicht. Das erleichtert die Einhaltung interner Vorgaben und kann in Branchen mit strengen Geheimhaltungspflichten ein Argument sein.
Lokal heißt nicht automatisch sicher und nicht automatisch datenschutzkonform. Auch ein selbst betriebenes Modell muss gepatcht, abgesichert und überwacht werden, und die Datenschutzpflichten für die verarbeiteten Daten bleiben bestehen.
Beispiel (Kanzlei mit besonders vertraulichen Unterlagen)
Fiktives Beispiel, kein Kundenfall.
Eine Kanzlei möchte, dass ein Assistent Schriftsätze zusammenfasst. Weil Mandatsgeheimnisse im Spiel sind, will sie keine Unterlagen an einen externen Anbieter schicken. Sie lässt ein lokales Modell auf einem Server im eigenen Haus betreiben. Die Zusammenfassungen sind sprachlich etwas schlichter als bei einem großen gehosteten Modell, reichen für die Vorarbeit aber aus. Jede Zusammenfassung prüft die zuständige Person, bevor sie in die Akte wandert.
Die Entscheidung ist ein Abwägen: Leistung gegen Kontrolle. Ob sie rechtlich ausreicht, gehört in die Hand fachkundiger Beratung, denn Berufsgeheimnisse unterliegen eigenen Regeln, etwa § 203 StGB und § 43a BRAO. Siehe Berufsgeheimnis.
Wichtig ist, dass die Kanzlei die Abwägung selbst trifft und festhält, welche Unterlagen das Modell sehen darf und welche nicht.
Lokal oder gehostet: der Vergleich
| Merkmal | Gehostetes Modell | Lokales Modell |
|---|---|---|
| Datenort | Beim Anbieter, vertraglich geregelt | In Ihrem Bereich |
| Leistung | Höher bei großen Modellen, laufend verbessert | Abhängig von Modell und Hardware |
| Aufwand | Gering, Nutzung über Zugang | Hardware, Installation, Pflege, Absicherung |
| Kosten | Nutzungsabhängig | Anschaffung und Betrieb, unabhängig von der Nutzung |
| Updates | Durch den Anbieter | In Ihrer Verantwortung |
| Vertrag | Auftragsverarbeitung nach Art. 28 DSGVO | Entfällt beim Eigenbetrieb, bei Dienstleistern wieder nötig |
Betreibt ein Dienstleister das lokale Modell für Sie, ist er wieder Auftragsverarbeiter, und es braucht den Vertrag nach Art. 28 DSGVO. Der Gewinn an Kontrolle liegt dann im gewählten Ort und in den Regeln, nicht im Wegfall des Vertrags.
Für die Gegenüberstellung zählen Leistung des Modells, Aufwand für Betrieb und Pflege, Kontrolle über die Daten und die vertragliche Lage. Ein lokales Modell verschiebt Aufgaben vom Anbieter zu Ihnen oder zu einem Dienstleister, es nimmt sie nicht weg.
Worauf es beim Eigenbetrieb ankommt
- Hardware. Leistungsfähige Modelle brauchen leistungsstarke Grafikprozessoren und Arbeitsspeicher. Kleinere Modelle laufen auf bescheidenerer Hardware, mit Abstrichen bei der Qualität.
- Lizenz. Nicht jedes veröffentlichte Modell darf geschäftlich genutzt werden. Die Lizenz ist vorab zu lesen.
- Absicherung. Zugriffsschutz, Netztrennung, Updates und Überwachung gehören zum Betrieb. Das BSI beschreibt Risiken generativer Modelle und Gegenmaßnahmen.
- Ausfallplan. Fällt der Server aus, muss der Betrieb weiterlaufen können. Wer vertritt, wer repariert?
- Pflege der Qualität. Neue Modellversionen verändern Antworten. Testfälle zeigen, ob ein Wechsel lohnt.
Wann sich ein lokales Modell lohnt
Sinnvoll ist es, wenn die Daten eine strenge Vertraulichkeit verlangen, wenn interne Vorgaben externe Anbieter ausschließen oder wenn die Aufgaben einfach genug sind, dass ein kleineres Modell reicht: Sortieren, Auslesen, einfache Zusammenfassungen. Weniger sinnvoll ist es für anspruchsvolle Formulierungen, in denen die Qualität großer Modelle gebraucht wird, und für Betriebe ohne Kapazität für den Betrieb.
Ein Zwischenweg ist die Aufteilung: Sensible Vorarbeit läuft lokal, anspruchsvolle Texte ohne Personenbezug laufen gehostet. Das lässt sich mit einer klaren Regel verbinden, welche Daten wohin dürfen.
Wir beraten dazu ohne Vorfestlegung und sagen offen, wenn ein gehostetes Modell mit Vertrag ausreicht. Mehr zu Datenschutz und Verträgen: Auftragsverarbeitung und Informationssicherheit.
Ein weiterer Anlass sind Vorgaben Ihres Betriebs oder Ihrer Kundschaft, bestimmte Daten nicht an externe Dienste zu geben. Ob solche Vorgaben bestehen und wie streng sie sind, sollten Sie vorab klären, bevor Sie in Hardware oder Betrieb investieren.
Checkliste vor der Entscheidung
- Welche Daten sollen verarbeitet werden? Je sensibler, desto eher spricht etwas für Eigenbetrieb oder einen eng geregelten Dienstleister.
- Wie anspruchsvoll ist die Aufgabe? Sortieren und Auslesen gelingen mit kleineren Modellen, freie Formulierung verlangt mehr.
- Wer betreibt und pflegt? Ohne eine Person oder einen Dienstleister, der das übernimmt, wird ein lokales Modell zur Last.
- Was kostet es im Vergleich? Rechnen Sie Hardware, Strom, Einrichtung und Pflege gegen die nutzungsabhängigen Kosten.
- Was passiert bei Ausfall? Planen Sie Vertretung und einen Rückfall auf Handarbeit.
- Ist die Lizenz geklärt? Lesen Sie die Bedingungen des Modells vor der geschäftlichen Nutzung.
Wer diese Liste ehrlich beantwortet, trifft die Entscheidung auf einer tragfähigen Grundlage. Eine Möglichkeit ist ein gemischter Betrieb, in dem nur die sensibelsten Schritte lokal laufen.
Unser Angebot
Welches Modell und welcher Verarbeitungsort passen, klären wir pro Projekt im Auftragsverarbeitungsvertrag. Für Anforderungen, die darüber hinausgehen, prüfen wir lokale Varianten im Rahmen von Individuelle KI-Tools und KI-Agenten entwickeln.
Eine Einschätzung bekommen Sie im Erstgespräch, bevor Aufwand entsteht.
Häufige Fragen
Ist ein lokales Modell DSGVO-konform?
Die Verarbeitung im eigenen Bereich erleichtert vieles, ersetzt aber keine Prüfung. Zweck, Rechtsgrundlage, Zugriffsrechte und Löschung bleiben zu regeln. Im Einzelfall lassen Sie das fachkundig bewerten.
Sind lokale Modelle schlechter?
Das hängt vom Modell und der Aufgabe ab. Für Sortieren und Auslesen können kleinere Modelle genügen. Für anspruchsvolle Texte liegen große gehostete Modelle vorn. Ein Test an Ihren Beispielen klärt das.
Was kostet der Betrieb?
Hardware, Strom, Einrichtung und Pflege. Die Kosten sind von der Nutzung weitgehend unabhängig. Wir stellen sie im Angebot dem gehosteten Betrieb gegenüber.
Kann ich später auf ein gehostetes Modell wechseln?
Ja, wenn die Architektur das vorsieht. Wir bauen Agenten so, dass das Modell austauschbar bleibt, und testen nach jedem Wechsel mit festen Fällen.
Reicht ein normaler Büro-PC?
Für sehr kleine Modelle und Tests ja, für den Dauerbetrieb im Team nicht. Dort braucht es einen Server mit geeigneter Grafikhardware. Wir schätzen den Bedarf anhand von Aufgabe und Nutzung ab.
Quellen und rechtlicher Rahmen
- DSGVO, Art. 28 (Auftragsverarbeiter): Verarbeitet ein Dienstleister personenbezogene Daten im Auftrag, arbeitet der Verantwortliche nur mit Auftragsverarbeitern, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten. Die Verarbeitung folgt einem Vertrag, der unter anderem Gegenstand, Dauer, Art und Zweck festlegt. (abgerufen 21. Oktober 2026)
- BSI: Generative KI-Modelle, Chancen und Risiken für Industrie und Behörden (21.1.2025): Das BSI beschreibt neben den Chancen neuartige IT-Sicherheitsrisiken generativer KI-Modelle sowie mögliche Gegenmaßnahmen. Es richtet sich an Unternehmen und Behörden, die den Einsatz in ihren Arbeitsabläufen erwägen. (abgerufen 21. Oktober 2026)
- § 203 StGB (Verletzung von Privatgeheimnissen): Wer unbefugt ein fremdes Geheimnis offenbart, das ihm als Arzt, Rechtsanwalt, Steuerberater oder in einem anderen genannten Beruf anvertraut wurde, wird mit Freiheitsstrafe bis zu einem Jahr oder mit Geldstrafe bestraft. (abgerufen 21. Oktober 2026)
- § 43a Abs. 2 BRAO (Verschwiegenheit): Rechtsanwälte sind zur Verschwiegenheit verpflichtet und müssen Mitarbeitende in Textform zur Verschwiegenheit verpflichten. (abgerufen 21. Oktober 2026)
Die Zusammenfassungen sind sinngemäß; maßgeblich sind die verlinkten Originaltexte. Das ist ein allgemeiner Überblick zu Ihrem Umfeld, keine Rechtsberatung und keine Aussage zu Ihrem Einzelfall.
Autor: Melvin Mümken, Gründer & Technischer Leiter. Stand: 22.10.2026. Die Hinweise sind ein allgemeiner Überblick und keine Rechtsberatung.