Cобрать агента для XAI и никогда больше не быть онлайн

В сфере искусственного интеллекта произошло заметное событие. sad__sabrina 9 часов назад Cобрать агента для XAI и никогда больше не быть онлайн Средний 11 мин 4. 8K Машинное обучение * Python * Будущее здесь Туториал Привет, друзья! Я, похоже, наконец пережила кризис пришествия агентов в нашу жизнь.

Мне всегда безумно нравился процесс решения задач — этакий личный, удивительный мир, даже когда ты уже знаешь правило Лопиталя/Modus ponens/выберите то, которое заставило вас смеяться больше всего при изучении. А теперь, чтобы не выпасть из жизни, задачи просто приходится решать с кем-то. И этот кто-то LLM-Agent.

Технические детали

По жизни я — XAI Researcher, так что эта статья, среди прочих, будет практическим туториалам для решения задачи "собрать агента для интепретируемости ML моделей и больше никогда не смотреть в экран, думая о коэффициентах логистической регрессии". Или всё-таки подумать придётся? Весь код туториала лежит здесь: unsplashНемного введенияЧтобы не ходить далеко, подтянем основные понятия.

Определения:LLM Agent — система, в которой большая языковая модель является двигателем. Кто как — а я вижу агента как множество, состоящее из примерно 4х компонент: где:* — сама LLM;* — набор инструментов (tools), которые агент умеет вызывать;* — состояние системы: память, история действий, промежуточные результаты;* — reasoning loop, то есть цикл рассуждений и принятия решений. Математика в статье на этом закончилась, но эту постановку, всё же, давайте запомним.

Explainable AI — набор методов и подходов, которые помогают анализировать поведение моделей (LLM и ML, но в данной статье мы будем смотреть только на ML). Матемтически каждый метод можно определить по своему, поэтому этим мы сейчас заниматься не будем. source: unsplashКонтекст:Большинство (ладно, все) XAI-подходов исторически создавались для человека.

Отраслевые последствия

Мы сидели и пытались понять, почему оно работает. Частные ML-методы: SHAP values, feature importance, partial dependence plots, ICE предполагают, что дальше в процесс интерпретации включается человек, который умеет думать, смотреть на графики/коэффициенты и знает, что такое доверительный интервал. Сегодня, любой процесс, который можно разбить на step-by-step (и он не касается того, что шаг вправо — и пациента уже можно не зашивать (простите)), сегодня можно автоматизировать.

Это же коснулось и интерпретируемости, неформально "родив" agentic XAI — подходы, в которых LLM объясняет модель. Улучшить объяснение агента можно многими способами: для человека: выйти погулять и зайти обратно;для LLM: сделать больше reasoning циклов. для человека: найти другого человека и выполнить с ним брейншторм;для LLM: выполнить критику своего решения.

Но больше — не равно лучше, автоматически и быстро - не равно дешево и сердито. У агентов есть режимы провала — то есть места, где всё работает ну вообще не так, как надо.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.