TOON против TRON против JSON, YAML и CSV для LLM-приложений

Вот важная новость с фронта ИИ: COBECT 5 минут назад TOON против TRON против JSON, YAML и CSV для LLM-приложений Простой 19 мин 81 Искусственный интеллект Машинное обучение * Хранение данных * Обзор Перевод Автор оригинала: Piotr Sikora ВведениеРазные форматы данных существуют потому, что решают разные задачи. JSON строгий и ориентирован на машины. YAML удобен для чтения.

TOON чрезвычайно компактен и специально спроектирован, чтобы снижать токенную нагрузку на LLM. TRON расширяет JSON определениями классов для обратно совместимого сжатия. Зачем существуют эти форматыTOON (Token-Oriented Object Notation) дает более компактный и токенно-эффективный способ передавать структурированные данные в большие языковые модели (LLM).

Технические детали

Убирая лишние фигурные скобки, кавычки, квадратные скобки и запятые, TOON:Снижает число токенов на 70-75%Существенно уменьшает расходы на APIСокращает задержкуПозволяет помещать более крупные наборы данных в лимиты контекстаРаботает как слой преобразования, оптимизированный именно для входных данных ИИTRON (Token Reduced Object Notation) идет другим путем: расширяет JSON синтаксисом создания экземпляров классов:Снижает число токенов на 20-40%Сохраняет совместимость с JSON: любой JSON является валидным TRONУбирает повторяющиеся имена полей в однородных массивахПозволяет постепенно мигрировать с существующих JSON-процессовПоддерживает вложенные определения классов для сложных структурЧто рассматривается в статьеВ этом подробном сравнении разобраны 14 тестовых сценариев в нескольких категориях:Базовые тесты:Плоские структурыПростые вложенные структурыРасширенные вложенные структурыРеальные сценарии:Ответы API со смешанными типами данныхКонфигурационные файлыЛогиВременные рядыПограничные случаи:Специальные символы и экранированиеОбработка Unicode и эмодзиПредставление null и пустых значенийСтруктуры с большим количеством массивов:Большие массивы примитивовМатрицы и сетки: двумерные массивыСценарии, специфичные для LLM:Фрагменты документов для RAG с метаданнымиСхемы function callingFew-shot-примеры для промптингаКраткая сводка результатовРейтинг токенной эффективности: среднее по 14 тестамФорматЭффективность относительно лучшегоСценарийCSV100%Только плоские данныеTOON (табличный)92%Структурированные массивыTOON (объектный)85%Полная вложенностьTRON75%JSON-совместимое сжатиеYAML65%ЧеловекочитаемостьJSON45%Универсальная совместимостьВлияние на стоимость: 10 тыс. записей, цены GPT-4ФорматСтоимость/вызовГодовая стоимость*Экономия относительно JSONJSON$5. 14M80%*При 1 млн вызовов API в годВлияние на окно контекстаПри лимите 128 тыс.

токенов (GPT-4):JSON: ~17 тыс. записейYAML: ~29 тыс. записейTRON: ~45 тыс.

записей: улучшение в 2,6 разаTOON: ~70 тыс. записей: улучшение в 4 разаCSV: ~85 тыс.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.