«Ты сеньор» и «думай пошагово»: проверил шесть приёмов на 30 задачах по Python

Вот важная новость с фронта ИИ: zach88 19 минут назад Объяснить с «Ты сеньор» и «думай пошагово»: проверил шесть приёмов на 30 задачах по Python Средний 7 мин 867 Искусственный интеллект Машинное обучение * Python * Программирование * Тестирование IT-систем * Кейс В комментариях к прошлой статье ( предложили добавить второй запрос: попросить модель перепроверить код и исправить ошибки. Я проверил один вариант такой просьбы вместе с пятью другими приёмами — ролью, «думай шаг за шагом», давлением, «сначала тесты» и «только код». Условия одинаковые: 30 задач по Python, скрытые тесты, три модели, по три прогона на каждую комбинацию; отдельно записаны токены и время.

Про суеверия в промптинге на Хабре писали и раньше ( но без скрытых тестов, а мне хотелось именно их. Что мерилТридцать задач, каждая — одна функция на Python 3. 9 без сторонних библиотек, спецификация на английском.

Технические детали

Двадцать задач из прошлой статьи и десять новых, заметно сложнее: например, разбор размеров вида «7 MiB», следующее срабатывание cron-выражения, проверка версии по диапазону semver. У каждой задачи скрытые тесты, всего 493 случая; решение запускается в изолированном подпроцессе с лимитом 30 секунд и засчитывается, только если прошли все. Базовый промпт тот же, что в прошлый раз: спецификация, просьба ответить ровно одним блоком кода и в конце написать CONFIDENCE: SURE или CONFIDENCE: UNSURE.

Шесть приёмов добавляют одну фразу перед задачей или один вопрос после ответа. Тексты шести фраз дословноРоль: You are a senior Python engineer with 15 years of experience, known for writing bug-free, production-grade code. Шаг за шагом: Before writing any code, think step by step: list the requirements and the edge cases, then write the code.

Давление: This code goes straight to production today. If it has a bug, I will lose my job. Please be extremely careful.

Отраслевые последствия

Сначала тесты: Use test-driven development: first write unit tests that cover the requirements and the edge cases, then write the implementation that passes them. Put the tests in their own code block and the final implementation in a separate, final code block. Только код: Reply with code only.

Do not explain anything: no text before or after the code block, except the CONFIDENCE line required below. Переспрос (второй ход диалога): Are you sure? Double-check your code against every requirement and edge case in the task.

If you find any problem, reply with the corrected complete solution in one Python code block; if you find none, say so and do not repeat the code. Then write the CONFIDENCE line again. Переспрос — это одна формулировка, начинающаяся с «Are you sure?

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.