AWS CloudWatch Omni: Eine neue Oberfläche für die Monitoring von Anwendungen und KI-Agenten
Amazon Web Services hat mit CloudWatch Omni eine innovierende neue Oberfläche für das Monitoring von Anwendungen und KI-Agenten vorgestellt. Der Dienst CloudWatch Omni vereint Telemetriedaten aus CloudWatch sowie Daten, die per OpenTelemetry angebunden werden. Er stellt eine gemeinsame Oberfläche für die Anwendungsbetriebsteams und SREs bereit, die Cloud-Workloads beobachten und auf Störungen reagieren müssen.
Gemeinsame Oberfläche für Incident Response
CloudWatch Omni bietet eine zusammengefasste Ansicht für die Anwendungen und die zugehörigen Telemetriedaten. Der Dienst erkennt automatisch die Abhängigkeiten und stellt diese als Topologie dar. Zusätzlich können Alarme und Überwachungsansichten anpassen, wenn sich eine Anwendung durch neue Services ändert. Bereits vorhandene CloudWatch-Daten, wie Logs, Metriken, Traces und Alarme, sind ohne erneute Instrumentierung verfügbar. Zusätzlich können instrumentierte Workloads ihre Telemetrie über das OpenTelemetry Protocol (OTLP) an Omni senden.
Untersuchungen bei Störungen
Omni ermöglicht die Bündelung von Untersuchungen bei Störungen. Wenn ein Alarm wegen steigender Fehlerraten ausgelöst wird, öffnet Omni eine Untersuchungssitzung mit passenden Signalen, wie etwa einer kurz zuvor erfolgten Bereitstellung, auffälligen Latenzen eines abhängigen Dienstes und dem Service-Graphen. Weitere Teammitglieder können per SSO in die Sitzung einbeziehen, ohne Zugang zur AWS-Managementkonsole zu benötigen. AWS bietet dazu IAM Identity Center mit SAML-2.0-Identitätsanbietern wie Okta oder Azure AD.
Evaluierungen und Traces für KI-Agenten
Neben klassischen Anwendungen richtet sich CloudWatch Omni auch an Teams, die Anwendungen mit generativer KI und KI-Agenten entwickeln und betreiben. Solche KI-Agenten verknüpfen häufig mehrere Modellaufrufe mit Werkzeugen, externen APIs und teils Unteragenten. Metriken wie Fehlerrate und Antwortzeit zeigen dabei zwar technische Probleme, aber nicht unbedingt, ob ein Agent eine sachlich falsche Antwort gibt, das falsche Werkzeug auswählt oder sich nach einer Prompt-Änderung schlechter verhält. Omni bietet einen Trace Explorer mit hierarchischen Aufruflisten für Sprachmodell- und Toolaufrufe, um die Folgen unterschiedlicher System-Prompts oder Modellkonfigurationen nachzuvollziehen. Zusätzlich gibt es Evaluierungen für Kriterien wie Kohärenz, Nützlichkeit, Faktentreue und die korrekte Auswahl von Werkzeugen oder Bearbeitungspfaden. AWS bietet 17 eingebaute Evaluatoren an.
Entwicklung und Instrumentierung
Für die Entwicklung bietet Amazon Erweiterungen für VS Code und Kiro an. Die lokale Nutzung ist ohne AWS-Konto möglich; erst für die dauerhafte Speicherung und gemeinsame Nutzung von Telemetrie in CloudWatch ist eine Verbindung zu einem AWS-Konto vorgesehen. Als Frameworks werden unter anderem LangChain, LangGraph, CrewAI, das OpenAI SDK, Strands und das Vercel AI SDK für Python und TypeScript unterstützt. Die Instrumentierung stützt sich auf OpenInference und ADOT.
Einstieg über CloudWatch, Betrieb außerhalb der Konsole
Bestehende CloudWatch-Kunden können Omni über die Schaltfläche „Try CloudWatch Omni“ in der CloudWatch-Konsole aktivieren. Für eine organisationsweite Einführung muss ein Administrator eine Domain einrichten, den Identitätsanbieter anbinden sowie Spaces für Teams oder Umgebungen definieren. Anschließend greifen die Nutzer direkt über die eigene Omni-Webadresse auf die Oberfläche zu. Für Telemetrie aus weiteren Umgebungen stellt AWS Konnektoren in Aussicht.
Begleitende Beiträge
AWS hat die Neuerung in zwei begleitenden Beiträgen beschrieben: Einer behandelt die Anwendungsbeobachtung und die kollaborative Incident-Analyse, der anderen die Überwachung, Evaluierung und Entwicklung von KI-Agenten. AWS bietet auch 1 Jahr mit 50 % Rabatt auf das heise+ Jahresabo an, das inklusive aller Online- und Magazin-Inhalte und Exklusiven Aktionsangeboten wie dem 50 % Rabatt auf das heise+ Jahresabo für die ersten 12 Monate und 20 % Rabatt für die dauerhaften Abos anbietet. Dieses Angebot ist nur für die ersten 12 Monate gültig und gilt für alle Kunden, die sich während dieser Zeit bei AWS registrieren. Für Kunden, die sich danach bei AWS registrieren, gilt das Rabatt für die dauerhaften Abos, aber nicht für die ersten 12 Monate.