Топ вопросов с NLP собеседований: обучение LLM, prompt-engineering и alignment

Вот важная новость с фронта ИИ: abletobetable 17 минут назад Топ вопросов с NLP собеседований: обучение LLM, prompt-engineering и alignment Средний 15 мин 640 Машинное обучение * Natural Language Processing * Искусственный интеллект Обзор На NLP/LLM собеседованиях часто проверяют не только знание архитектуры Transformer, но и понимание полного жизненного цикла современной LLM: как модель предобучается, почему обычная GPT-модель ещё не является удобным ассистентом, зачем нужен instruction tuning, как работает RLHF и что такое alignment, какие у него есть подводные камни. В этой статье - чеклист по GPT-like моделям, prompt engineering, этапам обучения LLM и alignment. Это не полноценная лекция с нуля, а тренажёр перед техническим интервью: пройтись по ключевым определениям, увидеть типовые вопросы и закрыть пробелы в формулировках.

Содержание:Краткая история развития LLM от GPT до ChatGPTТехники промпт-инженирингаЭтапы обучения LLMAlignmentИтоговый чеклист вопросов с собесовПолезные материалыСтатьи серииТоп вопросов по математике для ML и Data Science собесов: линейная алгебра и матанclassic ML: основы мл, линейные модели, метрики классификации и регресииclassic ML: Деревья и ансамбли, кластеризация, метрические моделиNLP: трансформеры и вниманиеNLP: языковое моделирование, LLM Alignment и оптимизация трансформеровNLP: LLM и Alignment NLP: ускорение обучения и инференса NLP: LLM и агенты NLP: LLM и RAGКак от ванильного GPT мы дошли до современных LLM? история развития GPTПервая GPT-модель - это decoder-only Transformer, обученный на задачу next token prediction. GPT училась продолжать текст, а польза была в том, что сначала модель можно предобучить на большом корпусе неразмеченных текстов, а потом адаптировать под downstream-задачи.

Технические детали

Дальше GPT-2 показала, что при масштабировании модели и данных языковая модель начинает решать разные задачи в zero-shot режиме - то есть без отдельного fine-tuning под каждую задачу. GPT-3 уже была по-настоящему большой 175B моделью и показала, что масштабирование сильно улучшает in-context learning: модель можно адаптировать к задаче через текстовый промпт с инструкцией или несколькими примерами, не меняя веса модели. in context learningЧто такое промпт-инжениринг?

Prompt engineering - это набор приёмов, которые помогают формулировать запросы к LLM так, чтобы модель решала задачу надёжно, в нужном стиле, в нужном формате и с меньшим количеством ошибок. Пример плохого промпта:Сделай нормально. Пример более управляемого промпта:Ты - технический интервьюер по NLP.

Оцени ответ кандидата по 4 критериям:КорректностьПолнотаТерминологияПрактическая применимостьВерни ответ в JSON: { “score”: число от 1 до 10, “strengths”: , “mistakes”: , “better_answer”: “” }Модель не стала умнее в смысле изменения весов. Но мы лучше задали задачу, и поэтому получили более предсказуемое поведение. Какие есть способы prompt engineering-а?

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.