我展示了如何在 LLM 提示中用 TOON 替换 JSON 并节省 40% 的令牌
您好!我叫 Andrey,是 Cloud.ru 的前端开发人员。我每天都使用 LLM API。每天我都会将结构化数据发送到上下文中:产品列表、日志、用户、指标。都是 JSON。所有这些都是钱。 在某些时候,我计算了提示中花在大括号、引号和重复键上的标记数量。事实证明——很多。太多了。 然后我尝试了TOON。结果如下。 了解更多
您好!我叫 Andrey,是 Cloud.ru 的前端开发人员。我每天都使用 LLM API。每天我都会将结构化数据发送到上下文中:产品列表、日志、用户、指标。都是 JSON。所有这些都是钱。 在某些时候,我计算了提示中花在大括号、引号和重复键上的标记数量。事实证明——很多。太多了。 然后我尝试了TOON。结果如下。 了解更多