{"id":172490,"date":"2026-08-23T14:38:05","date_gmt":"2026-08-23T12:38:05","guid":{"rendered":"https:\/\/jfrog.com\/?p=172490"},"modified":"2026-08-23T14:38:41","modified_gmt":"2026-08-23T12:38:41","slug":"warum-modell-routing-nach-hinten-losgeht-und-wie-sie-agenten-entwickeln-die-ihr-budget-nicht-sprengen","status":"publish","type":"post","link":"https:\/\/jfrog.com\/de\/blog\/warum-modell-routing-nach-hinten-losgeht-und-wie-sie-agenten-entwickeln-die-ihr-budget-nicht-sprengen\/","title":{"rendered":"Warum Modell-Routing nach hinten losgeht und wie Sie Agenten entwickeln, die Ihr Budget nicht sprengen"},"content":{"rendered":"

\"\"<\/p>\n

Modell-Routing verspricht, Ihre Ausgaben f\u00fcr KI-Agenten zu senken, indem Routineaufgaben an g\u00fcnstigere Modelle wie Claude Haiku ausgelagert werden, w\u00e4hrend Frontier-Modelle wie Claude Sonnet f\u00fcr komplexe Aufgaben verwendet werden. Mit der richtigen Konfiguration k\u00f6nnen Routing-Strategien die Inferenzkosten um 40\u201385 %<\/a> senken. Wird das Routing in einem Multi-Turn-Agenten jedoch falsch implementiert, k\u00f6nnen am Ende h\u00f6here Kosten entstehen, als wenn Sie ganz darauf verzichtet h\u00e4tten. Hier erfahren Sie, warum das so ist und wie Sie das Problem beheben k\u00f6nnen.<\/p>\n

Wie sich Token-Kosten im Verlauf einer Sitzung summieren<\/h2>\n

Um zu verstehen, warum Routing nach hinten losgehen kann, muss man zun\u00e4chst verstehen, warum die Kosten bei agentischen Sitzungen schnell steigen. Mit jedem weiteren „Turn“ in der Interaktion w\u00e4chst die Zahl der Token \u2013 und genau dieser kumulative Effekt ist die treibende Kraft sowohl f\u00fcr m\u00f6gliche Einsparungen als auch f\u00fcr das Kostenrisiko.<\/p>\n

Mit jedem Turn in einer Agentensitzung w\u00e4chst die Tokenmenge. Die folgende Tabelle zeigt, wie sich deren Verteilung im Verlauf einer typischen Sitzung mit drei Turns ver\u00e4ndert:<\/p>\n\n\n\n\n\n\n
Turn<\/strong><\/td>\nNeue Input-Tokens<\/strong><\/td>\nZwischengespeicherte Tokens<\/strong><\/td>\n<\/tr>\n
Turn\u00a01<\/td>\nHoch (Ausgangsnachricht)<\/td>\nKeine<\/td>\n<\/tr>\n
Turn\u00a02<\/td>\nNiedrig (Folgenachricht)<\/td>\nHoch (gesamter Turn\u00a01)<\/td>\n<\/tr>\n
Turn\u00a03+<\/td>\nMinimal<\/td>\nSehr hoch (kumulierend)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

 <\/p>\n

Ab dem dritten Gespr\u00e4chsschritt Turn\u00a03 machen zwischengespeicherte Token den Gro\u00dfteil Ihrer gesamten Tokenmenge aus. Genau diesen Effizienzvorteil gilt es zu erhalten. Ein Modellwechsel w\u00e4hrend einer laufenden Sitzung macht ihn jedoch vollst\u00e4ndig zunichte.<\/p>\n

\"\"<\/p>\n

Warum steigen die Kosten, wenn Sie w\u00e4hrend einer Sitzung das Modell wechseln?<\/h2>\n

Ein Wechsel des LLM-Modells mitten in der Sitzung macht die zuvor erzielten Einsparungen durch Prompt-Caching zunichte. Der Grund ist, dass der Cache eines Anbieters jeweils an ein bestimmtes Modell gebunden ist. Das neue Modell hat keinen Zugriff auf den gespeicherten Verlauf des vorherigen Modells und muss daher die gesamte bisherige Konversation erneut zum regul\u00e4ren Preis f\u00fcr Input-Token verarbeiten.<\/p>\n

Prompt-Caches basieren auf Prefix Matching (Pr\u00e4fixabgleich). Der LLM-Anbieter speichert einen Hash Ihres Nachrichtenpr\u00e4fixes. Solange das Pr\u00e4fix gleich bleibt und weiterhin dasselbe Modell verwendet wird, profitiert jeder weitere Turn von deutlich g\u00fcnstigeren Preisen f\u00fcr gecachte Token. Anthropic<\/a> bietet beispielsweise bis zu 90\u00a0% Rabatt auf zwischengespeicherte Input-Token. Sobald Sie jedoch das Modell wechseln, startet das neue Modell mit einem leeren Cache (Cold Cache). Es verarbeitet den gesamten bisherigen Gespr\u00e4chsverlauf zu den vollen Kosten f\u00fcr Input-Token, als h\u00e4tte Turn\u00a01 nie stattgefunden. Bei kurzen Sitzungen f\u00e4llt das kaum ins Gewicht. Bei agentischen Coding-Workflows mit Kontextfenstern von 50.000\u00a0Token oder mehr kann jedoch bereits ein einziger Modellwechsel w\u00e4hrend der Sitzung die Kosten so stark in die H\u00f6he treiben, dass die durch das Routing erhofften Einsparungen vollst\u00e4ndig aufgezehrt werden.<\/p>\n

Was Sie nicht tun sollten<\/h2>\n

Mehrere g\u00e4ngige Routing-Muster wirken auf den ersten Blick wie Optimierungen, k\u00f6nnen Ihre Kosten jedoch erh\u00f6hen. Das sind die h\u00e4ufigsten Ursachen f\u00fcr unerwartete Kostensteigerungen bei Agentensystemen in Produktionsumgebungen:<\/p>\n