Рентген для нейросетей, или как я перестал понимать собственный ИИ и написал свой APM

Значимый прорыв формирует отрасль ИИ: ovladim 14 минут назад Рентген для нейросетей, или как я перестал понимать собственный ИИ и написал свой APM Средний 7 мин 576 Искусственный интеллект Python * Кейс Есть одна коварная особенность в разработке сложных систем. Иногда ты месяцами строишь архитектуру. Добавляешь новые возможности, исправляешь ошибки.

А потом вдруг понимаешь одну очень неприятную вещь:Ты больше не понимаешь собственную программу. Именно это произошло и со мной во время разработки PAD+ AI. После миллионов тестов я осознал, что потерял контроль.

Технические детали

Проблема наблюдаемости в AI-системахPAD+ AI уже умел многое: работал с памятью, пайплайнами, эмоциями, Truth Loop и персонами. Результаты становились всё лучше. Но возникла совершенно неожиданная проблема.

Когда система ошибалась, невозможно было понять почему. Иногда отлично, иногда странно, иногда неожиданно. Но всё происходило где-то внутри.

Современные приложения на базе LLM обычно имеют простую архитектуру:Запрос → Prompt → LLM → Ответ Но при добавлении памяти, RAG, агентов и дополнительных сервисов система становится существенно сложнее. На уровне результата видно только вход и выход, но не видно:какие компоненты участвовали в обработке;в каком порядке выполнялись операции;где возникла задержка или ошибка;как изменялось состояние системы. В сложных системах это приводит к полной потере объяснимости поведения.

Отраслевые последствия

А между ними было абсолютное чёрное пространство. Так появилась концепция трассПосле очередной серии тестов я задал вопрос, который полностью изменил архитектуру проекта: «А что, если посмотреть на проблемы изнутри? »Именно с этого вопроса началась история X-Ray.

Название родилось сразу: ведь рентген позволяет увидеть то, что скрыто от глаз. Я начал смотреть не на отдельные события, а на сам путь выполнения. Каждый пользовательский запрос превратился в отдельную Trace.

Внутри неё каждая операция стала отдельным Span. Получилась структура, напоминающая дерево выполнения:Trace ├── Safety ├── Intent ├── RAG ├── Knowledge Graph ├── Semantic Memory ├── Persona ├── Generate ├── Truth Loop └── Response Guard Теперь можно было увидеть не только последовательность выполнения, но и время прохождения каждой фазы, взаимосвязь между этапами и полный путь обработки запроса. Важное уточнение: это не логированиеВажно отметить, что X-Ray не является системой логирования.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.