LLMs lokal betreiben: Wann sich der Eigenbetrieb lohnt
Wer im Mittelstand 2026 über KI nachdenkt, landet meistens bei der API von OpenAI, Anthropic oder Google. Das ist schnell aufgesetzt, die Modelle sind stark, die Abrechnung pro Token wirkt überschaubar. Beim genaueren Hinsehen stellt sich allerdings die Frage, ob die monatliche Rechnung, der Datenabfluss in US-Cloud-Regionen und die Abhängigkeit von einem einzelnen Anbieter wirklich der richtige Pfad sind. Lokal betriebene Large Language Models sind 2026 keine Bastelei mehr, sondern eine echte Option für viele Workloads. Dieser Beitrag ordnet ein, wann sich der Eigenbetrieb tatsächlich rechnet, welche Hardware sinnvoll ist und welche Modelle den Sprung in den Produktivbetrieb geschafft haben.
Was lokal betreiben überhaupt bedeutet
Lokaler Betrieb heißt nicht zwingend, dass das Modell auf einem Notebook unter dem Schreibtisch läuft. Gemeint sind drei verwandte Szenarien. Erstens: vollständig im eigenen Rechenzentrum oder im eigenen Rack bei einem Colocation-Anbieter. Zweitens: auf einer dedizierten GPU-Instanz bei einem europäischen Hoster wie Hetzner, OVHcloud oder STACKIT, bei dem der Betreiber juristisch in der EU sitzt. Drittens: auf einer Workstation oder einem GPU-Server im Büro, etwa für Entwicklerteams oder spezifische Abteilungs-Use-Cases.
Die gemeinsame Klammer ist, dass die Inferenz nicht mehr durch das Rechenzentrum eines US-Hyperscalers läuft und keine Daten an einen externen API-Anbieter abfließen. Wer Sovereign Cloud bereits als strategische Vorgabe hat, findet hier den logischen nächsten Baustein. Wir haben das Thema Souveränität ausführlich in Sovereign Cloud für den Mittelstand beschrieben.
Warum das Thema gerade jetzt aufkommt
Drei Entwicklungen treffen 2026 zusammen. Die Open-Weights-Modelle haben qualitativ massiv aufgeholt. Llama 3.3 70B von Meta, Mistral Large 2, Qwen 2.5 von Alibaba und DeepSeek V3 liefern in vielen Benchmarks Ergebnisse, die noch vor zwei Jahren nur GPT-4 oder Claude erreicht haben. Wer auf Open-Weights setzen will, findet eine produktive Auswahl, die nicht mehr nur akademisch interessant ist. Hintergründe zum Lizenzthema haben wir in Open Source in der KI eingeordnet.
Parallel ist die Inferenz-Infrastruktur volljährig geworden. vLLM, TensorRT-LLM, llama.cpp und Ollama bieten ausgereifte Server, die mit OpenAI-kompatibler API ansprechbar sind. Ein Wechsel der Anwendung von OpenAI auf einen lokal betriebenen Mistral kostet oft nur eine geänderte Base-URL und einen Endpoint-Test.
Der dritte Treiber ist regulatorisch. Der EU AI Act fordert für Hochrisiko-Anwendungen Nachvollziehbarkeit und Datenschutz auf einem Niveau, das bei externen API-Anbietern nur über aufwändige Vertragskonstrukte erreichbar ist. Bei lokalem Betrieb ist die Datenflusskette schlicht kürzer. NIS-2 und DORA verschärfen die Anforderungen an Lieferketten zusätzlich. Wer sensible Datenkategorien verarbeitet, kommt um eine ehrliche Bewertung der API-Variante kaum herum.
Was lokale Inferenz an Hardware kostet
Der Hardware-Bedarf hängt vom gewählten Modell und der erwarteten Last ab. Drei realistische Setups als Orientierung.
Für ein 7B- bis 14B-Modell wie Mistral 7B, Llama 3.1 8B oder Qwen 2.5 14B reicht eine einzelne NVIDIA RTX 4090 mit 24 GB VRAM oder eine RTX 6000 Ada mit 48 GB. Die Investition liegt bei 2.000 bis 8.000 Euro plus Server-Chassis. Damit lassen sich 10 bis 30 gleichzeitige Anfragen mit akzeptablem Durchsatz bedienen. Geeignet für Abteilungs-Workloads, interne Chatbots und Coding-Assistenten kleinerer Teams.
Für ein 70B-Modell wie Llama 3.3 70B oder Mistral Large 2 braucht es deutlich mehr. Zwei bis vier H100 oder L40S mit 80 bis 96 GB VRAM sind realistisch, im Server-Verbund mit 200.000 bis 400.000 Euro Hardware-Kosten. Wer keinen eigenen Server kaufen will, mietet vergleichbare GPU-Instanzen bei Hetzner oder OVHcloud ab etwa 2.500 Euro im Monat. Diese Stufe trägt die meisten produktiven Use Cases im Mittelstand, von Sales-Assistenz bis zur Dokumenten-Analyse.
Für sehr große Modelle wie DeepSeek V3 mit 671B Parametern oder Llama 3.1 405B verlässt man den klassischen Mittelstand-Korridor. Hier sprechen wir über GPU-Cluster jenseits einer halben Million Euro, die sich nur bei extrem hoher Auslastung oder spezifischen Sicherheitsanforderungen rechnen.
Eine pragmatische Faustregel: Ein Workload, der bei OpenAI im Monat mehr als 1.500 Euro an API-Kosten verursacht, ist ein Kandidat für eine Wirtschaftlichkeitsrechnung. Darunter ist der Eigenbetrieb selten der günstigere Pfad, wenn man Strom, Wartung und Bereitschaft fair einrechnet.
Modell-Landschaft 2026 im Realitätscheck
Llama 3.3 70B ist das stärkste Open-Weights-Generalistenmodell mit einer Lizenz, die kommerzielle Nutzung erlaubt. Es liegt in Benchmarks nahe an GPT-4o und Claude 3.5 Sonnet. Für allgemeine Chat-Workloads, Summarization und Frage-Antwort-Szenarien eine solide Wahl.
Mistral Large 2 mit 123B Parametern ist das stärkste europäische Modell und unter der Mistral Research License kostenfrei nutzbar, mit kommerzieller Lizenz beim Hersteller. Stärken sind Mehrsprachigkeit inklusive solidem Deutsch und ein gutes Verhalten bei strukturierter Ausgabe wie JSON.
Qwen 2.5 von Alibaba ist in mehreren Größen verfügbar, hat eine permissive Lizenz und glänzt bei Coding-Aufgaben. Die 32B-Variante ist ein guter Kompromiss aus Hardware-Bedarf und Qualität.
DeepSeek V3 hat 2025 für Aufsehen gesorgt, weil das Modell mit deutlich geringeren Trainingskosten an die Hyperscaler-Modelle herangereicht hat. Für lokale Inferenz wegen der schieren Größe nur bedingt geeignet, als API-Alternative über europäische Hoster aber interessant.
Für spezialisierte Use Cases gibt es kleinere Modelle, die ihren Job sehr gut machen. Phi 3.5 von Microsoft für Edge-Inferenz, CodeLlama oder StarCoder 2 für Coding-Assistenz, sowie domänenspezifische Modelle wie Med-PaLM-ähnliche Forks für medizinische Anwendungen. Die Wahl hängt vom konkreten Workload ab, nicht von der Pressemitteilung.
Wann sich der Eigenbetrieb rechnet, und wann nicht
Drei Konstellationen sprechen klar für den Eigenbetrieb. Erstens: regulatorischer Druck. Wer Patientendaten, Personaldossiers oder Konstruktionsdaten mit Geheimhaltungspflicht verarbeitet, hat schlicht keine saubere API-Variante zur Verfügung. Zweitens: hohes und konstantes Volumen. Ab etwa 100 Millionen Token pro Monat in einem stabilen Use Case wird die GPU-Miete oder der Eigenbetrieb gegenüber der API-Abrechnung wirtschaftlich. Drittens: strategische Unabhängigkeit. Wer langfristig nicht auf das Preismodell eines einzelnen Anbieters angewiesen sein will, baut sich mit einer eigenen Inferenz-Infrastruktur einen Hebel.
Gegen den Eigenbetrieb sprechen ebenfalls drei Punkte. Erstens: niedrige oder stark schwankende Last. Wer 50.000 Anfragen im Monat hat, zahlt für GPU-Bereitschaft mehr als für die Nutzung. Zweitens: Bedarf an der jeweils stärksten Modellgeneration. Wer immer das aktuellste Top-Modell braucht, hat mit der API einen Geschwindigkeitsvorteil von Wochen bis Monaten. Drittens: fehlendes Plattform-Know-how. GPU-Betrieb, Treiber-Pflege, vLLM-Tuning und Modell-Updates sind ein eigenständiges Skillset. Wer das intern nicht hat oder aufbauen will, sollte die ehrliche Kostenrechnung nicht ohne externe Begleitung machen. Wann der Eigenbetrieb von Software überhaupt sinnvoll ist, haben wir in Self-Hosted statt SaaS durchgerechnet, die Logik überträgt sich weitgehend auf LLMs.
Fazit
Lokal betriebene LLMs sind 2026 produktionsreif und für viele Mittelstand-Workloads eine ernsthafte Alternative zur OpenAI- oder Anthropic-API. Die Hardware ist beschaffbar, die Software-Stacks sind ausgereift, die Open-Weights-Modelle haben qualitativ aufgeholt. Eine pauschale Empfehlung gibt es nicht. Wer regulatorischen Druck hat, hohes und stabiles Volumen fährt oder strategisch unabhängig bleiben will, sollte den Eigenbetrieb ernsthaft prüfen. Für alle anderen bleibt die API der pragmatische Pfad, ergänzt um eine saubere Datenklassifizierung und kundenseitige Schlüsselverwaltung.
EverBright IT begleitet Mittelständler bei der Bewertung, Auswahl und Inbetriebnahme lokaler LLM-Infrastruktur, von der Hardware-Dimensionierung bis zum produktiven Betrieb. Mehr zu unserer KI-Beratung oder direkt Kontakt aufnehmen.
Häufige Fragen
Welches Open-Weights-Modell ist 2026 die beste Wahl für deutsche Unternehmen?
Für allgemeine Workloads ist Llama 3.3 70B das stärkste Modell mit kommerziell nutzbarer Lizenz. Wer besonderen Wert auf Deutschsprachigkeit und europäische Herkunft legt, ist mit Mistral Large 2 gut bedient. Für Coding-Assistenz lohnt ein Blick auf Qwen 2.5 oder CodeLlama. Die Wahl hängt vom konkreten Use Case und der verfügbaren Hardware ab.
Wie viel kostet eine GPU-Instanz für ein 70B-Modell pro Monat?
Bei europäischen Anbietern wie Hetzner oder OVHcloud starten passende Konfigurationen mit zwei H100 oder L40S bei etwa 2.500 bis 4.000 Euro im Monat. Eigene Hardware liegt im Kapitalaufwand bei 200.000 bis 400.000 Euro plus Betriebskosten. Welche Variante günstiger ist, hängt von Laufzeit, Auslastung und intern verfügbarem Betriebs-Know-how ab.
Reicht eine RTX 4090 für den produktiven Einsatz?
Für ein Modell bis 14B Parameter und ein kleines Team von 5 bis 30 Nutzern reicht eine RTX 4090 oder vergleichbare Karte aus. Sobald 70B-Modelle ins Spiel kommen oder mehrere gleichzeitige Anfragen mit niedriger Latenz bedient werden müssen, wird Server-Hardware mit mehreren Datacenter-GPUs erforderlich.
Ist der Eigenbetrieb DSGVO-konform automatisch besser als eine API?
Lokaler Betrieb verkürzt die Datenflusskette und reduziert das Risiko aus dem US Cloud Act, ist aber nicht automatisch besser. Verschlüsselung, Zugriffskontrollen, Audit-Logs und Datenklassifizierung müssen genauso sauber sein wie bei einer API-Anbindung. Die Architektur ändert das Compliance-Bild, ersetzt aber keine konsistente Datenschutz-Praxis.
Wie viel Aufwand ist die Migration von OpenAI auf einen lokal betriebenen Mistral?
Für eine einfache Chat-Anwendung mit OpenAI-kompatibler Anbindung liegt der Migrationsaufwand bei wenigen Personentagen, weil vLLM und Ollama die OpenAI-API-Spezifikation implementieren. Sobald Function Calling, Vision-Inputs oder spezifische Modellverhalten ins Spiel kommen, steigt der Aufwand auf 20 bis 60 Personentage, je nach Anwendungstiefe und Test-Aufwand.
