Einführung

Aleph Alpha hat Kolibri-1 veröffentlicht, ein Sprachmodell für die Verarbeitung langer Texte auf Deutsch und Englisch. Das Modell setzt auf einer Mixture-of-Experts-Architektur und aktiviert bei jedem Token nur einen Teil seiner Gesamtkapazität, um den Rechenaufwand zu senken. Das Open-Weights-Modell mit 78 Milliarden Parametern wurde auf 20 Billionen Tokens aus einem gefilterten, zweisprachigen Korpus trainiert. Weitere Daten wurden in eine Mid-Training-Phase und eine Erweiterung der Kontextlänge übernommen.

78 Milliarden Parameter: Aleph Alpha veröffentlicht KI-Modell mit Deutsch-Schwerpunkt

Daten und Trainingsprozess

Das Modell wurde auf Sequenzen von 16. 144 Tokens in der nativen Kontextlänge trainiert. Der Trainingsprozess verbrauchte schätzungsweise 950 Megawattstunden Energie, einschließlich Node-Leistung und Rechenzentrums-Overhead. Das Pretraining lief auf 768 Nvidia-B200-GPUs über 96 HGX-Nodes hinweg und dauerte 21 Tage.

Funktionen und Anwendungsbereiche

Kolibri-1 unterstützt einen expliziten Reasoning-Modus, bei dem Nutzer zwischen niedrigem, mittlerem und hohem Denkaufwand wählen können oder das Reasoning komplett deaktivieren können. Das Modell beherrscht Tool Calling und kann damit strukturierte Extraktion durchführen, Informationen über APIs abrufen und Code ausführen. Für das Training wurden Datensätze zu Retrieval-Augmented Generation, agentischem Tool Calling und der Verarbeitung langer Dokumente in beiden Sprachen erstellt.

Positionierung und Lizenzierung

Aleph Alpha positioniert Kolibri-1 für Chatbots, Dokumentenverarbeitung und RAG-Workflows. Oktober 2026 unter der Apache-2. 0-Lizenz veröffentlicht. Bundesdigitalminister Karsten Wildberger (CDU) erklärte, dass Aleph Alpha eine echte Alternative zu den KI-Systemen von Cohere ist, die sich in Deutschland und Kanada befinden.

Investoren und Infrastruktur

Aleph Alpha wurde vom kanadischen Unternehmen Cohere übernommen. Bundesdigitalminister Karsten Wildberger (CDU) erklärte, dass die Rechenzentren von Schwarz Digits die Infrastruktur für den Einsatz der KI-Systeme von Cohere bereitstellen sollen. Schwarz Digits ist mit einem Anteil von über 20 Prozent ein wichtiger Investor von Aleph Alpha.

Kommentare