meta-attention is all you need

Вот важная новость с фронта ИИ: Imperius14 33 минуты назад meta-attention is all you need Средний 20 мин 1. 5K Искусственный интеллект Машинное обучение * Кейс ВведениеВ этой статье я расскажу о интересной находке во время моих экспериментов с языковыми моделями, которую я решил назвать "мета-трансформерами". Или я нашел реально что-то интересное, или выдал желаемое из действительное, а обьективную оценку может дать только (технически подкованный) внешний наблюдатель, поэтому этот текст и был опубликован.

Особенно тут кстати будут спецы по архитектуре трансформеров. Веса моделей, исходники проекта + вся документация будут приложены в конце статьи (в главе исходники), на Hugging-Face и Codeberg (аналог Github) соответственно. Изначально проект был с русскими доками и комментариями, но я перевел на английский комментарии и доки для global-community через Codex, на Codeberg будет оригинальная версия на RU и переведенная ENG.

Технические детали

Статья будет находится на Codeberg (в рус. версии) в главной директории как файлmeta-attention-is-all-you-need. Схему с превью статьи вы можете найти в самом начале главы Архитектурные схемы.

Все главы Важные замечанияЗнакомимся с мета-трансформерамиПодробный разбор компонентовПодробный разбор обученияЭкспериментыАрхитектурные схемыЗаключениеИсходники1. Важные замечанияИнформация в этой главе не требуется для понимания архитектуры, я рекомендую ее все же прочитать, но вы можете сразу приступить к описанию архитектуры в главе Знакомимся с мета-трансформерами, если хотите. Учитывая крайнюю специфичность проекта и связанных с ней концептов - чтобы не выглядеть очередным сумасшедшим с манией изобретательства, который решил все математические задачи тысячелетия разом, я разместил в этой главе много ремарок, которые рекомендую прочитать перед тем, как переходить к основной части материала.

Это классический проект выходного дня, который я делал в свободное от работы время. Может быть обидно, если идея провалится, но я особо ничего от этого не потеряю, так что, по моему мнению, я тут могу быть вполне обьективен и открыт к критике. Отсылка в названий статьиНекоторые сведущие могли заметить, что в названий статьи есть отсылка к статье "Attention is all you need" 2017 года, которая впервые и описала архитектуру трансформеров.

Отраслевые последствия

Я, конечно, не ставлю свою идею вровень с этой статьей, просто сам механизм и принцип работы довольно схож. Впрочем, саму значимость (и есть ли она вообще) этой идеи я оценить не могу, не хватает экспертизы, и, самое главное, грамотной обратной связи. Поэтому, опять же, вы этот текст и читаете.

УникальностьУчитывая, что по сути идея в очень общем виде кажется довольно наводящей и простой - вполне возможно, это уже кто-то испытывал, и я просто недостаточно хорошо искал. Буду рад, если вы на это укажете. Другой проект с тем же названиемЕсли вы забьете в гугл, то вы можете найти архитектуру "мета-трансформеров", которая тоже модифицирует трансформеры.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.