Begriffe, die Ihnen helfen, die Hardware-Anforderungen für KI besser zu verstehen.
Künstliche Intelligenz, die vollständig auf Ihrer eigenen Hardware läuft. Anders als bei ChatGPT werden keine Daten an Server von Drittanbietern gesendet – das garantiert 100 % Privatsphäre und Sicherheit.
Das zentrale „Gehirn“ der KI (z. B. ChatGPT/GPT-6.1, Google Gemini 4, Claude Opus 5.5/Fable 5.1, DeepSeek-V4.1 oder Qwen), trainiert mit riesigen Textmengen. Es versteht Zusammenhänge, schreibt Code oder erstellt kreative Inhalte.
Der Grundbaustein von Text, den eine KI verarbeitet. Ein Token entspricht etwa 4 Zeichen bzw. 3/4 eines Wortes. Modelle lesen keine ganzen Wörter, sondern zerlegen sie in Tokens.
Die genannten Modelle dienen nur zur Veranschaulichung – es handelt sich um Beispiele, nicht um eine vollständige oder verbindliche Liste. Die Modelllandschaft ändert sich schnell.
Pionier der kommerziellen KI und Entwickler des weltbekannten Chatbots ChatGPT, dessen Flaggschiff auf dem Modellfamilie GPT-6 (Astra, Sol 6.1 und Luna) läuft. Bekannt für die Serien GPT-4 und GPT-5 sowie die Reasoning-Modelle der o-Serie. Diese Closed-Source-Modelle sind über eine API zugänglich.
KI-Modelle von Google. Während die multimodale Flaggschiff-Serie Gemini 4 (Argon) und Gemini 3.8 Flash als leistungsstarker Cloud-Dienst mit außergewöhnlich großem Kontextfenster betrieben wird, sind die Gemma-Modelle Open-Weights und für den lokalen Betrieb auf eigener Hardware optimiert.
Die Claude-Modellfamilie (z. B. die neuesten Modelle Claude Opus 5.5 und Fable 5.1, das hochintelligente Claude Sonnet 5.5 oder das schnelle Claude Haiku 5.5) von Anthropic. Diese Closed-Source-Cloud-Modelle legen den Fokus auf Sicherheit, präzise Programmierfähigkeiten und fortgeschrittenes logisches Denken.
Ein schnell wachsendes Ökosystem aus Open-Weights- und proprietären Modellen (wie DeepSeek-V4.1 und Qwen 3.8 von Alibaba). Sie bieten hohe Recheneffizienz, ein hervorragendes Preis-Leistungs-Verhältnis und sind für lokale On-Premise-Unternehmenslösungen sehr beliebt.
Für KI-Berechnungen optimierte Grafikkarte. Im Gegensatz zur CPU besitzt sie Tausende kleiner Kerne und kann Millionen mathematischer Operationen gleichzeitig ausführen – sie ist der Motor der KI.
Grafikspeicher auf KI-Beschleunigern. Das gesamte KI-Modell und seine Berechnungen müssen hier hineinpassen. Es ist die wichtigste Hardware-Kennzahl einer KI-Workstation.
Eine Kennzahl (Tokens pro Sekunde), die angibt, wie schnell die KI Antworten (Wörter) erzeugt. Bei lokalem Betrieb hängt sie direkt von der Bandbreite und Leistung des GPU-VRAMs ab.
Die „Gehirngröße“ des Modells, angegeben in Milliarden (B) Parametern. Eine höhere Zahl bedeutet ein intelligenteres und leistungsfähigeres Modell, erfordert aber deutlich mehr VRAM.
Die maximale Textmenge, die ein Modell in einer einzelnen Anfrage auf einmal lesen und verarbeiten kann. Gemessen in „Tokens“ (ungefähr Silben oder Wortteile).
Eine Methode, um KI in Echtzeit mit internen Unternehmensdateien zu verbinden. Die KI durchsucht vor der Antwort Ihre Datenbank und vermeidet so Halluzinationen (erfundene Inhalte).
Der Prozess, ein vortrainiertes LLM mit eigenen Unternehmensdaten (z. B. Verträgen oder Handbüchern) weiterzutrainieren, damit es Ihr spezifisches Fachwissen erwirbt.
Speicher, den die KI nutzt, um sich während eines laufenden Gesprächs oder bei der Analyse langer Dokumente an den Kontext zu „erinnern“. Mit wachsendem Chatverlauf verbraucht der KV-Cache immer mehr VRAM.
Die Phase, in der das Modell nicht mehr trainiert, sondern aktiv genutzt wird (Fragen beantworten, Code generieren). Auch dieser Prozess ist sehr rechen- und speicherintensiv.
Komprimierung eines Modells durch Verringerung der mathematischen Genauigkeit seiner Gewichte (z. B. von 16 Bit auf 4 Bit). Sie senkt den VRAM-Bedarf erheblich bei minimalem Qualitätsverlust.
Ein standardisierter Test zur Messung der Fähigkeiten von KI-Modellen (z. B. MMLU für Allgemeinwissen, GSM8k für mathematisches Denken). Er ermöglicht einen objektiven Vergleich von Intelligenz und Geschwindigkeit verschiedener Modelle.
Ein beliebtes, benutzerfreundliches Open-Source-Tool, das den Betrieb lokaler LLMs (wie Llama 4, Qwen 3.8) auf PCs und Business-Workstations vereinfacht. Es bündelt Modellgewichte, Konfiguration und Laufzeitcode in einfach ausführbare Pakete und stellt eine lokale API bereit.
Eine durchsatzstarke, speichereffiziente Serving-Engine für den Betrieb von LLMs auf Produktionsservern und API-Workstations. Dank des innovativen *PagedAttention*-Algorithmus (ähnlich dem virtuellen Speicher-Paging in Betriebssystemen) können Server Dutzende gleichzeitige Benutzeranfragen mit extremer Geschwindigkeit bedienen und dabei VRAM sparen.
Eine grundlegende, hardwarenahe Open-Source-Bibliothek in reinem C/C++, die als Motor vieler lokaler KI-Anwendungen (einschließlich Ollama) dient. Sie ermöglicht den Betrieb quantisierter LLMs auf Consumer-Hardware (einschließlich CPUs und Grafikkarten verschiedener Hersteller) mit minimalen Abhängigkeiten und maximaler Leistung.