Einleitung

AirLLM ist ein Open-Source-Projekt, das es ermöglicht, große KI-Modelle auf Gaming-Hardware mit kleinen Grafikkarten zu verwenden. Dies ermöglicht es, lokale KI zu nutzen, ohne große Hardware-Anschaffungen zu benötigen. Doch die Wartezeit ist hoch.

heise+ | AirLLM: Große KI-Modelle auf schwachen Grafikkarten starten

AirLLM: Wie es funktioniert

AirLLM verfüttert die großen LLMs in kleinen Häppchen an die Grafikkarte. Es ermöglicht es, riesige KI-Modelle wie Kimi K3 oder DeepSeek-V3 auf Karten mit 4 bis 12 GByte Grafikspeicher zu laufen. Doch der Nutzer zahlt dafür einen hohen Preis, in Form von Wartezeit.

Messung der Inferenz-Geschwindigkeit

Wir installieren AirLLM auf einem Gaming-Rechner mit einer RTX-3060-Grafikkarte, 32 GByte DDR5-RAM und einer NVMe-SSD. Als Test-LLM dient uns ein Qwen 3. 8 27B, das mit einer Größe von rund 55 GByte übersteigt den kombinierten Grafik- und Arbeitsspeicher unseres Systems um ein Viertel. Wir messen, wie schnell unser System mit AirLLM einen sehr einfachen Prompt verarbeitet, stellen das einem zweiten Test mit Llama. cpp gegenüber und bewerten die Alltagstauglichkeit.

Der Bericht der KI-Task-Force der Regierung träumt ein Deutschland herbei, das toll klingt, sich aber wenig kritisch mit KI auseinander setzt, so die Analyse. AirLLM ermöglicht es, große KI-Modelle auf kleinen Hardware zu nutzen, aber mit hohem Wartezeit-Preis.

Schlussfolgerung

Es ist wichtig, die KI-Task-Force der Regierung und die Datenprodukte zu kritisieren und zu verstehen, wie man KI-Modelle für unerwünschte und gefährliche Zwecke nutzt. Mit der App DroidDeck können Sie PC-Titel wie „Hades“ direkt auf dem Smartphone spielen, und mit der App für Termine können Sie Ihre Verpflichtungen im Blick halten. Inhaltsschranken sollen verhindern, dass man KI-Modelle für unerwünschte und gefährliche Zwecke nutzt, und wir zeigen, wie leicht sie sich entfernen lassen.

Kommentare