Почему ни ИИ, ни обычный учитель английского не определит уровень CEFR (от A1 до C2)

В сфере искусственного интеллекта произошло заметное событие. Samourai333 15 минут назад Почему ни ИИ, ни обычный учитель английского не определит уровень CEFR (от A1 до C2) Время на прочтение 8 мин Охват и читатели 323 Искусственный интеллект Изучение языков Образование за рубежом Учебный процесс в IT Читальный зал Из песочницы За последний год появилось множество видеороликов и статей по использованию нейросетей для изучения английского языка. Очень часто авторы, среди которых попадаются и «дипломированные» учителя, в очень немногочисленных и расплывчатых промптах‑инструкциях просят ИИ ограничиваться каким‑то уровнем CEFR, от A1 до С2. Как ни странно, никто из этих авторов даже не потрудился изучить, понимают ли ChatGPT, Gemini, Claude, Grok, что входит в конкретный уровень, а что — нет.

Как это можно проверить? Проверочные тексты Сопоставление сырых баз данных Прагматика Маршрут «от простого к сложному» На кой чёрт лично мне уровни CEFR? Зачем создавались уровни CEFR?

Технические детали

Продуктивное использование ИИ и сопоставительный метод изучения языков Почему умные используют ИИ не так, как глупые 1. Проверочные тексты Найдите в сети контрольные уровнеопределительные тексты, попросите разные модели ИИ определить их уровень CEFR, использовав указанные там изощрённые уровнеопределительные промпты, которые вам бы никогда в голову не пришли. Сравнив ту противоречивую информацию, которую выдадут разные ИИ, вы поймёте, что каждый робот — с каждой попыткой!

— выдумывает новую собственную систему определения уровней, и к CEFR эти системы отношение имеют весьма отдалённое даже если дать чёткую инструкцию строго придерживаться официальных данных на Englishprofile. Похоже, робот, как профессиональная нейропроститутка, просто пытается ублажить клиента, соблазнить его на платную подписку. Главное при этом, господа, не подцепить от неё нейросифилис, нейроспид и прочую нейровенерику одним нейровенеробукетом.

Сопоставление сырых баз данных Можно зайти с другого конца. Сравнить, например, лексику какого‑то уровня на Englishprofile. org и списками лексики, которую вам выдадут ChatGPT, Gemini, Claude, Grok.

Отраслевые последствия

А можете ли вы чётко сформулировать задачу для этих роботов? Нужно сравнивать же не просто список слов, а список значений слов. А есть ещё и словосочетания.

Если ChatGPT говорит: «Почему нет единого списка? Потому что язык полисемантичен (много значений)», вы понимаете, что это нейробред, нейроувиливание. То же самое касается сравнения грамматики какого‑то уровня на Englishprofile.

org и нейрофантазиями разных роботов. Профессионального филолога, поверьте, эти «галлюцинации» в таком катастрофическом объёме очень забавляют. Сортировать нейромусор — это задача непростая и очень хлопотная, и очень быстро проверять нейрогаллюцинации вам может надоест.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.