Модель, которая думает по кругу: что на самом деле нового в GPT-6 Astra

Вот важная новость с фронта ИИ: Dmitrii-Chashchin 18 минут назад Модель, которая думает по кругу: что на самом деле нового в GPT-6 Astra Простой 7 мин 518 Искусственный интеллект Машинное обучение * Управление продуктом * Управление продажами * Научно-популярное Аналитика Вчера OpenAI выкатила GPT-6 Astra и назвала её самой умной и выровненной моделью в мире. Грег Брокман сказал, что это скачок, и что Astra разумно считать версией AGI. Отдельная волна пошла про кибербезопасность: это первая модель, которую сама OpenAI отнесла к порогу Critical в своей рамке готовности, то есть она может находить неизвестные дыры и писать к ним эксплойты без человека, ведущего её за руку.

Всё это шумно, но, на мой взгляд, вторично. Главное в этом релизе — не проценты на бенчмарках и не киберстрашилки. Главное, что впервые в проде поменяли то, как рождается слово.

Технические детали

Давайте разберёмся, что изменилось и почему это очень интересный релиз. Что вообще делает трансформерНачну с азов, дальше без них не проехать. Илья Суцкевер когда-то дал Джону Кармаку список из тридцати работ со словами: выучишь это — будешь понимать 90% того, что сегодня важно в мире ИИ.

Его же тезис, который он повторял много раз: хорошо предсказывать следующий токен — значит понимать реальность, которая этот токен породила. Не «угадывать буковки», а держать в голове мир, из которого фраза выросла. Механика этого предсказания простая до неприличия.

Модель делает всего две вещи, но много раз подряд. Механизм внимания (attention) смотрит, о чём вообще речь в поданной последовательности. Второй механизм лезет во внутреннее знание и достаёт то, что с этой темой связано.

Отраслевые последствия

Возьмём фразу «Эльбрус — это…». Внимание (attention) видит, что речь про некий Эльбрус. Знание подтягивает к этому слову всё, что с ним чаще всего связано, и почти наверняка модель продолжит про гору на юге России.

Но есть и заметная вероятность, что она уйдёт в российский процессор, — слово одно, миров за ним два, и модель выбирает между ними по контексту. Дальше самое неинтуитивное. Модель берёт последнее слово и превращает его в следующее, подмешивая туда и смысл последовательности, и вытащенное знание.

Концепт «Эльбрус» шаг за шагом обрастает контекстом и становится концептом «гора», и вот эта гора выпадает наружу как следующее слово. Отсюда и название: трансформер — тот, кто трансформирует. Одного превращения мало, поэтому блоков в стопке много: слово проходит их по очереди снизу вверх и с каждым становится чуть точнее.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.