Hallo! Mein Name ist Andrey, ich bin Front-End-Entwickler bei Cloud.ru. Ich arbeite jeden Tag mit der LLM API. Und jeden Tag sende ich strukturierte Daten in den Kontext: Produktlisten, Protokolle, Benutzer, Metriken. Es ist alles JSON. Und das alles ist Geld.

Irgendwann habe ich gezählt, wie viele Token aus meiner Eingabeaufforderung für geschweifte Klammern, Anführungszeichen und sich wiederholende Schlüssel ausgegeben wurden. Es stellte sich heraus – viel. Zu viel.

Dann habe ich es mit TOON versucht. Hier ist, was dabei herausgekommen ist.

Weitere Informationen