Haiku поставила PASS и указала существенную ошибку: как мы разбирали отчет ревью

Вот важная новость с фронта ИИ: dewil 15 минут назад Объяснить с Haiku поставила PASS и указала существенную ошибку: как мы разбирали отчет ревью Средний 2 мин 410 Качество кода * Тестирование IT-систем * Машинное обучение * Кейс Проверка замечаний в отчете ревьюПри вычитке десяти статей для блога мы получили от Haiku такой отчет. Фрагмент сокращен:{ "verdict": "PASS", "meaning_preserved": true, "issues": } В соседнем замечании модель написала: “это существенное искажение совета”. При этом наш запрос требовал считать фактические ошибки и смысловые противоречия блокирующими.

Пришлось разбираться, что ошибочно: вердикт, замечание или наша редакция. Что проверялиЧерновики с условными примерами писал один агент, проверяла anthropic/claude-haiku-5. Мы передавали правила читаемости, тексты и список существующих статей; после правок - исходник и редакцию.

Технические детали

В отчете запрашивали вердикт, серьезность замечаний и точные цитаты. Подробную градацию уровней серьезности не задавали. Это разбор одной сессии.

Частоту ошибок модели и качество относительно других проверяющих мы не измеряли. Кто кому задает вопросыВ черновике кандидату советовали задавать вопросы работодателю и ссылались на статью о скрининге. Но связанная статья рассказывала о вопросах рекрутера кандидату.

Мы исправили описание ссылки. Haiku заметила смену ролей и предложила вернуть исходник. Частично замечание было полезным: при нашей правке действительно потерялся совет кандидату самому задавать вопросы.

Отраслевые последствия

Однако возврат всей фразы восстановил бы неверное описание ссылки. Полного текста связанного материала модель сначала не получила - только название и адрес. Мы добавили текст и сохранили обе мысли: кандидат уточняет задачи роли, а отдельная статья помогает подготовиться к вопросам рекрутера.

Следующая проверка подтвердила читаемость и сохранность смысла; итоговый вердикт - RISK с необязательными замечаниями. Кавычки, которых не былоHaiku также предложила убрать экранирование в строке:Строка "сертификат по аналитике, 2025" почти ничего не говорит о содержании. Пакет передавался в JSON, где кавычки внутри строк экранируются.

В исходном Markdown обратных слешей не было. Внутреннюю причину ответа модели этот случай не устанавливает; мы подтвердили только отсутствие указанных символов в файле. Что приняли и что проверилиПолезные замечания тоже были.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.