LLM-as-Judge

Serie: Self-Hosted LLMs für Datensouveränität | Code: GitHub Hinweis: Detaillierte Definitionen zu technischen Begriffen findest du im Glossar. TL;DR – Für eilige Leser Setup: Llama-3.1-8B (self-hosted) vs. Claude Sonnet 4.5 (commercial), 171 identische Samples, gleicher Judge-Prompt Ergebnisse: Judge A-Ratings B-Ratings C-Ratings Agreement Kappa Claude Sonnet 4.5 111 (64.9%) 50 (29.2%) 10 (5.8%) - - Llama-3.1-8B 167 (97.7%) 3 (1.8%) 1 (0.6%) 65% 0.30 Kernerkenntnisse: Data Sovereignty machbar: Komplette Pipeline self-hosted 8B Models zu optimistisch: Übersehen 90% der B-Ratings, 90% der C-Ratings Use-Case abhängig: Pre-Filtering OK, Final Quality Control nicht Empirisch validiert: 171 Samples zeigen wahre Performance (für unseren Use Case) Framework ready: Llama-70B Test in Post 8.1 möglich Kein Drop-in Replacement für Claude – aber wir wissen jetzt, wo die Grenzen liegen und für welche Use Cases ein 8B Judge trotzdem nützlich ist. ...

Serie: Self-Hosted LLMs für Datensouveränität | Code: GitHub In Post 8 haben wir Llama-3.1-8B als self-hosted Judge evaluiert: 65% Agreement mit Claude Sonnet 4.5, klare Grenzen bei nuancierten B/C-Ratings. Die Frage blieb offen: Wie viel besser ist ein 8.75× größeres Model? Der ursprüngliche Plan: Llama-70B auf AWS g5.12xlarge (4× A10G GPUs). Die Realität: Frankfurt komplett ausverkauft, Service Quotas zu niedrig, Wartezeit unbestimmt. Die Alternative: Llama-3.1-70B lokal auf Mac Studio Max (M4 Max, 64 GB Unified Memory). Kein Deployment, keine Quota-Requests, kein Hourly Billing. ...