Zum Inhalt springen
DEEN
LLM on-premise

LLM on-premise
auf Ihrer Infrastruktur.

Wir richten Open-Source-Sprachmodelle so ein, dass Ihre Daten Ihr Haus oder die EU nicht verlassen. Mit Rechten, Protokollierung und geregelten Updates.

Kostenlosen KI-Potenzial-Check buchen

45 Minuten, unverbindlich. Als Ergebnis eine konkrete Potenzial-Übersicht.

Worum es geht

LLM on-premise

Manche Daten sollen keinen externen Modellanbieter erreichen, auch nicht unter Zero Data Retention. Mandantenakten, Patientendaten, Konstruktionsunterlagen oder Netzdaten sind typische Beispiele. Dafür gibt es leistungsfähige Open-Source-Modelle, etwa aus den Familien Llama, Mistral oder Qwen, die Sie selbst betreiben können.

Wir übernehmen die Software-Seite: Auswahl und Test des passenden Modells, Einrichtung eines Inferenz-Servers wie vLLM, Anbindung an Ihre Anwendungen, Zugriffsrechte, Logging und Monitoring. Das läuft auf Ihrer Hardware oder bei einem EU-Cloud-Anbieter Ihrer Wahl.

Hardware liefern wir nicht, und Rechenzentren betreiben wir nicht. Wir beraten Sie aber bei der Dimensionierung, damit Sie weder zu klein einkaufen noch für Leistung bezahlen, die Sie nicht brauchen.

Was wir bauen

Die Bausteine

Modellauswahl am eigenen Anwendungsfall

Wir testen mehrere Open-Source-Modelle und Größen an Ihren Aufgaben. Entscheidend sind Qualität, Antwortzeit und Lizenzbedingungen für den gewerblichen Einsatz.

Dimensionierung und Hosting-Wahl

Aus Modellgröße, Nutzerzahl und Kontextlänge leiten wir ab, welche GPU-Ausstattung nötig ist. Sie entscheiden, ob Sie eigene Server beschaffen oder bei einem EU-Hoster mieten.

Inferenz-Server und Schnittstelle

Wir richten einen Inferenz-Server wie vLLM containerisiert ein und stellen eine standardisierte Schnittstelle bereit. Ihre Anwendungen sprechen das Modell an wie einen API-Dienst, nur eben im eigenen Netz.

Zugriffsrechte und Protokollierung

Anmeldung über Ihr bestehendes Benutzerverzeichnis, Rechte je Anwendung oder Abteilung, Protokolle nach Ihren Aufbewahrungsregeln. So bleibt nachvollziehbar, wer das Modell wofür genutzt hat.

Monitoring und Updates

Wir überwachen Auslastung, Antwortzeiten und Fehler. Neue Modellversionen werden erst gegen Ihren Evaluierungsdatensatz geprüft und dann geplant eingespielt.

Vorgehen

Vom ersten Gespräch bis zum Betrieb

  1. 01

    Kostenloser KI-Potenzial-Check

    In 45 Minuten klären wir, ob ein selbst betriebenes Modell für Ihren Fall nötig ist oder ob ein API-Modell mit Zero Data Retention genügt. Beides hat Vor- und Nachteile.

  2. 02

    Pilot mit Evaluierung

    Wir betreiben das Modell zunächst in einer gemieteten EU-Umgebung und messen es an Ihren Fällen. Erst wenn die Qualität passt, lohnt sich die Investition in eigene Hardware.

  3. 03

    Einrichtung zum Festpreis

    Installation, Anbindung, Rechte und Monitoring liefern wir als Paket mit Festpreis und Akzeptanzkriterien. Die Konfiguration ist dokumentiert und gehört Ihnen.

  4. 04

    Betrieb und Modellpflege

    Auf Wunsch übernehmen wir Updates, Monitoring und Neuevaluierung. Alternativ schulen wir Ihre IT, damit sie den Betrieb selbst führt.

Einsatz nach Branche

Wo das in der Praxis ansetzt

Konkrete Anwendungsfälle mit Ausgangslage, Lösung und Einstieg finden Sie auf den Branchenseiten.

Alle Branchen und Use Cases
Verwandte Leistungen

Was oft dazugehört

Alle Leistungen
Häufige Fragen

Fragen zu LLM on-premise

Was kostet ein eigenes LLM on-premise?

Die Kosten setzen sich aus drei Teilen zusammen: Hardware oder gemietete GPU-Kapazität, die Einrichtung der Software und der laufende Betrieb. Die Hardware beziehen Sie direkt beim Händler oder Hoster. Für Einrichtung und Betrieb nennen wir nach dem Pilot einen Festpreis je Paket.

Welche Hardware braucht ein lokales Sprachmodell?

Das hängt von Modellgröße, Quantisierung, Kontextlänge und der Zahl gleichzeitiger Nutzer ab. Kleinere Modelle laufen oft auf einer einzelnen Rechenzentrums-GPU, größere brauchen mehrere. Wir messen den Bedarf im Pilot, bevor Sie etwas kaufen.

Sind Open-Source-LLMs so gut wie ChatGPT?

Für viele Unternehmensaufgaben wie Zusammenfassen, Extrahieren oder Beantworten von Fragen zu eigenen Dokumenten reichen aktuelle Open-Source-Modelle aus. Bei sehr komplexen Aufgaben liegen die größten kommerziellen Modelle oft vorn. Wir vergleichen beides an Ihren Fällen.

Dürfen wir Open-Source-Modelle gewerblich nutzen?

Das regelt die Lizenz des jeweiligen Modells, und die Bedingungen unterscheiden sich. Wir prüfen die Lizenz bei der Modellauswahl und dokumentieren sie. Eine abschließende rechtliche Bewertung sollte Ihre Rechtsabteilung oder Ihr Anwalt vornehmen.

On-premise oder EU-Cloud: was ist besser?

Eigene Hardware lohnt sich bei dauerhaft hoher Auslastung oder wenn Daten das Haus gar nicht verlassen dürfen. Eine EU-Cloud ist flexibler, schneller verfügbar und für einen Pilot fast immer der bessere Start. Viele Unternehmen beginnen in der Cloud und entscheiden danach.

Wer kümmert sich um Updates des Modells?

Neue Modellversionen erscheinen häufig, aber nicht jede ist für Ihren Fall besser. Wir prüfen Updates gegen Ihren Evaluierungsdatensatz und spielen sie nur ein, wenn die Ergebnisse stimmen. Das kann Teil eines Betriebsvertrags sein oder von Ihrer IT übernommen werden.

LLM on-premise: Finden wir in 45 Minuten heraus, ob es sich bei Ihnen lohnt.

Kostenlosen KI-Potenzial-Check buchen

45 Minuten, unverbindlich. Als Ergebnis eine konkrete Potenzial-Übersicht.