Self-Hosted LLMs Für Datensouveränität

Serie: Self-Hosted LLMs für Datensouveränität | Code: GitHub Hinweis: Dieser Post baut direkt auf Post 7 (Self-Hosted Dataset Generation) auf. Wir nutzen das gleiche Setup (Mistral-7B Instruct auf vLLM), optimieren aber die Durchsatzrate durch Parallelisierung. In Post 7 haben wir bewiesen: Self-hosted Dataset-Generierung funktioniert. 2.71 Stunden für 1932 Chunks waren bereits schneller als gpt-4o-mini’s 3.5 Stunden. Aber 2.71 Stunden sind immer noch zu lang für iterative Entwicklung. Das Problem: Sequentielle Verarbeitung lastet die GPU kaum aus. Bei jedem Request wartet die GPU auf den nächsten – eine klassische Underutilization. ...

Serie: Self-Hosted LLMs für Datensouveränität | Code: GitHub In Post 7.1 haben wir Dataset-Generierung auf 15 Minuten beschleunigt - ein 9× Speedup der iterative Entwicklung praktikabel macht. Statt 138 Minuten pro Run können wir jetzt 4 Experimente pro Stunde durchführen. Das ermöglicht systematisches Testing verschiedener Models, Prompts und Parameter. Jetzt nutzen wir diese schnelle Iteration: Kann ein besseres Model die Quality von Mistral-7B (77% in Post 7) in Richtung gpt-4o-mini (93%) steigern? Bei 15 Minuten pro Run können wir 3-4 Models in unter einer Stunde testen - was früher einen ganzen Arbeitstag gekostet hätte. ...

Serie: Self-Hosted LLMs für Datensouveränität | Code: GitHub Hinweis: Detaillierte Definitionen zu technischen Begriffen findest du im Glossar. TL;DR – Für eilige Leser Setup: Llama-3.1-8B (self-hosted) vs. Claude Sonnet 4.5 (commercial), 171 identische Samples, gleicher Judge-Prompt Ergebnisse: Judge A-Ratings B-Ratings C-Ratings Agreement Kappa Claude Sonnet 4.5 111 (64.9%) 50 (29.2%) 10 (5.8%) - - Llama-3.1-8B 167 (97.7%) 3 (1.8%) 1 (0.6%) 65% 0.30 Kernerkenntnisse: Data Sovereignty machbar: Komplette Pipeline self-hosted 8B Models zu optimistisch: Übersehen 90% der B-Ratings, 90% der C-Ratings Use-Case abhängig: Pre-Filtering OK, Final Quality Control nicht Empirisch validiert: 171 Samples zeigen wahre Performance (für unseren Use Case) Framework ready: Llama-70B Test in Post 8.1 möglich Kein Drop-in Replacement für Claude – aber wir wissen jetzt, wo die Grenzen liegen und für welche Use Cases ein 8B Judge trotzdem nützlich ist. ...

Serie: Self-Hosted LLMs für Datensouveränität | Code: GitHub In Post 8 haben wir Llama-3.1-8B als self-hosted Judge evaluiert: 65% Agreement mit Claude Sonnet 4.5, klare Grenzen bei nuancierten B/C-Ratings. Die Frage blieb offen: Wie viel besser ist ein 8.75× größeres Model? Der ursprüngliche Plan: Llama-70B auf AWS g5.12xlarge (4× A10G GPUs). Die Realität: Frankfurt komplett ausverkauft, Service Quotas zu niedrig, Wartezeit unbestimmt. Die Alternative: Llama-3.1-70B lokal auf Mac Studio Max (M4 Max, 64 GB Unified Memory). Kein Deployment, keine Quota-Requests, kein Hourly Billing. ...

Serie: Self-Hosted LLMs für Datensouveränität | Code: GitHub TL;DR – Für eilige Leser In diesem Post kombinieren wir Training auf Apple Silicon mit Multi-LoRA Serving für A/B-Testing zweier LoRA-Adapter. Der neue Adapter v2 wurde mit 200 negativen Samples trainiert, die ihm beibringen “Ich kann die Frage nicht beantworten” zu sagen, wenn Information fehlt. Kernerkenntnisse: Mac-Training funktioniert: Kaum langsamer als Cloud T4, aber keine Cloud-Kosten und vollständig lokal 90% Hallucination-Reduction: v2 halluziniert nur noch bei 5% der unbeantwortbaren Fragen (vs. 92.5% bei v1) Minimaler Trade-off: False-Negative-Rate steigt nur um 0.78% (tatsächlich sogar niedriger nach manueller Review) Ende-zu-Ende Self-Hosting: Komplette Pipeline von Dataset-Generation über Training bis Serving ohne Cloud Was wir erreicht haben: Produktionsreifer LoRA-Adapter mit dramatisch reduzierter Hallucination-Rate bei gleichbleibender Qualität auf positiven Samples. Der komplette Workflow - Dataset-Generation, Training, Evaluation - läuft vollständig self-hosted. ...

Serie: Self-Hosted LLMs für Datensouveränität | Code: GitHub Dies ist der letzte Post dieser Serie. Kein neues Feature, kein neues Deployment – stattdessen ein Schritt zurück. Was haben wir in 9 Posts und mehreren Monaten über Self-Hosted LLMs gelernt? Was würden wir heute anders machen? Und was bedeutet das für Unternehmen, die diesen Weg evaluieren? Was wir gebaut haben In dieser Serie haben wir eine vollständige LLM-Infrastruktur aufgebaut – Schritt für Schritt, mit echten Problemen und echten Lösungen. ...

Projekt: Self-Hosted LLMs für Datensouveränität – Blog-Serie Zweck: Zentrale Begriffserklärungen für alle Posts Dieses Glossar erklärt technische Begriffe, die in der Blog-Serie verwendet werden. Die Begriffe sind alphabetisch sortiert und nach Kategorien gruppiert. Inhaltsverzeichnis Training & Optimization Model Architecture & LoRA Memory & Hardware Serving & Infrastructure Evaluation & Metriken Data & Datasets Training & Optimization Activation / Activations Zwischenergebnisse, die während des Forward Pass (Berechnung der Predictions) eines Neural Networks entstehen. Diese müssen für den Backward Pass (Gradient-Berechnung) im Speicher gehalten werden. Bei großen Models und Batches können Activations mehrere GB VRAM benötigen. ...