Das Agent Harness ist der Schlüssel: Warum sich dasselbe KI-Modell in verschiedenen Produkten so stark unterscheidet

Warum unterscheiden sich zwei Produkte, die beide GPT-4 oder Claude verwenden, in ihrem KI-Verhalten so stark? Der KI-Entwickler Akshay Pachaar hat auf X das Framework „Agent Harness Engineering“ vorgestellt und mit einer treffenden Metapher erklärt: Ein nacktes LLM ist wie eine CPU ohne Betriebssystem – nicht das zugrunde liegende Modell allein bestimmt die Leistung eines KI-Produkts, sondern vielmehr die Entwurfsschleifen für das Scheduling, die Tool-Integration und die Architektur für das Speichermanagement rund um das Modell.

CPU braucht ein Betriebssystem, LLM braucht Agent Harness

Pachaar hat eine vollständige Analogie aufgebaut: LLM ist die CPU, der Context Window ist der RAM, Vector DB ist die Festplatte, Tools sind die Treiber für Geräte – und Agent Harness ist das Betriebssystem. Dieses Framework erklärt ein Phänomen, das in der Branche seit Langem beobachtet wird: Auf den Rängen der LangChain TerminalBench-Tabelle können die Leistungsunterschiede zwischen verschiedenen Produkten, die dasselbe zugrunde liegende Modell nutzen, extrem groß sein.

Die zentrale Erkenntnis lautet: Modellfähigkeit ist eine notwendige Bedingung, aber die Ingenieursqualität des harness ist die hinreichende Bedingung. Ein sorgfältig entworfenes Agent Harness kann dazu führen, dass ein Mittelklasse-Modell ein Produkt mit einem Top-Modell übertrifft, wenn dessen harness dagegen schlampig gebaut ist.

Die vier Kernkomponenten von Agent Harness

Laut Pachaar umfasst ein vollständiges Agent Harness vier entscheidende Ebenen. Zuerst gibt es die Scheduling-Logik (Scheduling Loop), die festlegt, wann der Agent denken soll, wann er handeln soll und wann er Tools aufrufen muss; zweitens das Tool-Ökosystem (Tool Ecosystem), das definiert, welche externen Systeme der Agent bedienen kann; drittens das Speichermanagement (Memory Management), das Kurzzeit-Dialoggedächtnis und die langfristige Wissensrecherche behandelt; und schließlich das Kontextmanagement (Context Management), das bestimmt, welche Informationen in einem begrenzten context window platziert werden sollen.

Die Design-Abwägungen dieser vier Komponenten bestimmen das völlig unterschiedliche Verhaltensmuster desselben Modells in verschiedenen Produkten. Deshalb unterscheiden sich auch die Nutzererfahrungen von OpenAIs ChatGPT, Anthropics Claude und diversen KI-Third-Party-Produkten so deutlich, selbst wenn die Fähigkeiten der zugrunde liegenden Modelle ähnlich sind.

Widerrede: Kann ein ausreichend starkes Modell die Harness-Funktionen internalisieren?

Dieses Framework steht jedoch auch vor Herausforderungen. Einige Forschende sind der Ansicht, dass mit der fortschreitenden Evolution der Basismodelle – insbesondere durch Generationensprünge bei der Fähigkeit zum Schlussfolgern – schließlich selbst sehr starke Modelle die meisten harness-Funktionen internalisieren können, ähnlich wie moderne CPUs nach und nach Funktionen integriert haben, die früher separate Chips übernehmen mussten. Wenn sich dieser Trend bewahrheitet, könnte die Bedeutung von harness engineering mit der Zeit abnehmen.

Doch aus der aktuellen Praxis heraus gilt: Selbst die stärksten Modelle sind nach wie vor in hohem Maße auf externe Tools und sorgfältig gestaltete Scheduling-Logik angewiesen. Harness engineering wird in absehbarer Zukunft weiterhin das zentrale Schlachtfeld sein, um KI-Produkte voneinander abzuheben.

Implikationen für die Entwicklung von KI-Produkten

Pachaar liefert mit seinem Framework einen genaueren Blickwinkel, um KI-Produkte zu bewerten und darüber zu berichten: Anstatt nur zu vergleichen, „welches Modell verwendet wurde“, sollte man vielmehr die Engineering-Entscheidungen auf harness-Ebene analysieren – also die Scheduling-Architektur, das Tool-Ökosystem, die Gedächtnismechanismen und dergleichen. Für taiwanesische Entwicklungsteams, die gerade KI-Produkte aufbauen, bedeutet das: Nachdem das zugrunde liegende Modell ausgewählt wurde, beginnt der eigentliche Wettbewerb erst – die Ingenieursqualität des harness ist der Schlüssel, der über Erfolg oder Misserfolg des Produkts entscheidet.

Dieser Artikel „Agent Harness“ ist der Schlüssel: Warum derselbe KI-Modell in verschiedenen Produkten so stark unterschiedlich abschneidet Erstmals erschienen in Kettennews ABMedia.