Je montre comment j'ai remplacé JSON par TOON dans les invites LLM et économisé 40 % des jetons
Bonjour ! Je m'appelle Andrey, je suis développeur front-end chez Cloud.ru . Je travaille quotidiennement avec l'API LLM. Et chaque jour, j'envoie des données structurées dans le contexte : listes de …

Bonjour ! Je m'appelle Andrey, je suis développeur front-end chez Cloud.ru. Je travaille quotidiennement avec l'API LLM. Et chaque jour, j'envoie des données structurées dans le contexte : listes de produits, logs, utilisateurs, métriques. Tout est JSON. Et tout cela, c'est de l'argent.
À un moment donné, j'ai compté combien de jetons de mon invite étaient dépensés en accolades, guillemets et touches répétitives. Il s'est avéré que c'était beaucoup. Trop.
Puis j'ai essayé TOON. Voici ce qui en est ressorti.
En savoir plus