Modell-Serving lokal
Offene LLMs laufen über vLLM oder Ollama auf eigener Hardware oder in dediziertem deutschem Rechenzentrum — keine Anfrage verlässt Ihren Einflussbereich.
Zur Startseite
Lokale LLM-Infrastruktur
Ein lokales LLM DSGVO-orientiert betreiben
Offene Sprachmodelle auf eigener Infrastruktur, mit Datenschutz als Teil der Architektur — nicht als nachträglicher Zusatz. Von der Modellwahl bis zum auditierbaren Betrieb.
Der Aufbau
Was zu einem souveränen LLM-Betrieb gehört.
Ein lokales LLM ist mehr als ein Modell auf einem Server. Erst Wissensanbindung, Rechte und Nachweisbarkeit machen es betriebs- und datenschutztauglich.
Wissen über RAG
Ihre Dokumente werden in einer Vektordatenbank (Qdrant, pgvector) erschlossen. Antworten entstehen mit Quellenbezug, Inhalte bleiben lokal.
Identität & Rechte
AD/LDAP und SSO setzen bestehende Berechtigungen durch. Die KI beantwortet nichts, was der Nutzer nicht ohnehin sehen darf.
Protokoll & Nachweis
Zugriffe und Aktionen werden protokolliert — eigene Logs als Grundlage für Audits und Datenschutznachweise.
Der Stack
Der Maschinenraum, ehrlich benannt.
Oberfläche & Zugriff Web-UISSOAD / LDAP
KI-Orchestrierung RoutingAgentenWorkflows
Modell-Serving vLLMOllama
Wissen & RAG QdrantpgvectorPostgreSQL
Plattform ProxmoxKubernetesDocker
Hardware GPU-ServerSpeicherNetzwerk
Sicherheit und Compliance, von Anfang an mitgedacht.
Datenschutz ist kein Aufsatz, sondern Teil der Architektur. Diese Bausteine gehören für uns zum Standard.
Rollen & Rechte aus AD/LDAP
Bestehende Berechtigungen werden durchgesetzt — die KI zeigt niemandem mehr, als er ohnehin sehen darf.
Logging & Nachvollziehbarkeit
Zugriffe und Aktionen sind protokolliert und auswertbar — eigene Logs, eigener Einblick.
Kein ungeprüftes Training
Sensible Daten werden nicht ungeprüft zum Training fremder Modelle verwendet.
Mandantentrennung
Saubere Trennung von Bereichen, Abteilungen und Datenräumen.
Verschlüsselung
Schutz der Daten bei Übertragung und im Speicher.
DSGVO & EU-KI-Verordnung mitgedacht
Datenschutz und regulatorischer Rahmen sind Teil der Architektur, nicht nachträglicher Zusatz.
Hinweis: Wir unterstützen bei der technischen und organisatorischen Umsetzung datenschutzorientierter KI-Architekturen. Das ist keine Rechtsberatung. Die rechtliche Bewertung im Einzelfall liegt bei Ihnen und Ihren Datenschutzverantwortlichen.
Warum mit uns
Kein KI-Startup. Ein Betreiber, der täglich Verantwortung trägt.
On-Premises-KI ist Infrastruktur. Sie braucht jemanden, der sie nicht nur aufsetzt, sondern sicher betreibt — mit nachweisbaren Prozessen.
zertifizierter IT-Betrieb (HostSpezial GmbH)
im eigenen oder dedizierten Rechenzentrum in Deutschland
Betrieb, Monitoring und Updates auf Wunsch komplett übernommen
Herkunft
Hinter ki-ohne-cloud.de steht die HostSpezial GmbH, ein ISO-27001-zertifizierter Managed-Service-Provider aus Lichtenfels, Oberfranken. Wir betreiben seit Jahren IT für mittelständische Unternehmen — On-Premises-KI ist die konsequente Erweiterung, unter unserer Marke ki·spezial.
Das heißt für Sie: ein Ansprechpartner für Beratung, Infrastruktur, Sicherheit und Betrieb — mit echtem Rechenzentrum, festen Verantwortlichkeiten und klaren SLAs.
Referenzen
Aus Vertraulichkeit nennen wir Kundenprojekte nicht öffentlich. Im Erstgespräch zeigen wir Ihnen passende, anonymisierte Beispiele aus Ihrer Branche.
FAQ
Lokales LLM & DSGVO — häufige Fragen
Ist der Betrieb eines lokalen LLM automatisch DSGVO-konform?
Nicht automatisch — DSGVO-Konformität ist immer eine Frage der konkreten Verarbeitung und Organisation. Aber die Architektur schafft die Grundlage: Verarbeitung im eigenen Einflussbereich, Rollen, Protokollierung, Verschlüsselung und Löschkonzepte. Die rechtliche Bewertung im Einzelfall liegt bei Ihren Datenschutzverantwortlichen; wir unterstützen technisch und organisatorisch.
Welche Modelle lassen sich lokal betreiben?
Verschiedene offene Sprachmodelle, je nach Aufgabe, Sprache, Qualitätsanspruch und verfügbarer Hardware. Sie sind austauschbar — das vermeidet Anbieterbindung.
Werden unsere Daten zum Training verwendet?
Nein, nicht ungeprüft. Sensible Daten fließen nicht ohne Freigabe in Modelltraining. Was mit Ihren Daten geschieht, legen Sie fest.
Wie wird die EU-KI-Verordnung berücksichtigt?
Der regulatorische Rahmen wird von Beginn an mitgedacht — bei Rollen, Transparenz, Protokollierung und der Frage, welche Anwendungsfälle welche Anforderungen auslösen.
Prüfen Sie, wie KI in Ihrem Unternehmen nutzbar wird, ohne Ihre Daten aus der Hand zu geben.
Schildern Sie kurz Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung und den nächsten sinnvollen Schritten.
- Unverbindliches Erstgespräch zur Einordnung Ihrer Anwendungsfälle
- Klarer Blick auf Datenschutz, Architektur und Aufwand
- Antwort in der Regel innerhalb eines Werktags