Year: 2025
Type: article
Abstract: Инженерия подсказок (prompt engineering) стала неотъемлемой частью работы с большими языковыми моделями (LLM), особенно в сценариях нулевого (zero-shot) и малого (few-shot) обучения, где модели должны выполнять задачи без или с минимальным количеством примеров. Настоящая статья представляет систематический обзор и сравнительный анализ различных методов инженерии подсказок, сосредотачиваясь на их эффективности в улучшении точности LLM на задачах математического рассуждения. Для анализа были выбраны стандартные датасеты: GSM8K, SVAMP и AQuA. Методы включали нулевое обучение, малое обучение, цепочку рассуждений (CoT), самосогласованность (self-consistency) и другие. Ключевые результаты показывают, что CoT значительно повышает точность, особенно в сочетании с самосогласованностью, особенно для крупных моделей, таких как PaLM-540B, где точность на GSM8K выросла с 25,1% до 74,4% с использованием самосогласованности. Исследование предоставляет ценные рекомендации для исследователей и практиков в выборе подходящих методов для конкретных задач. Дополнительно обсуждаются перспективы применения гибридных подсказок в мультимодальных системах, а также потенциальная интеграция техник когнитивного поиска и само адаптивного обучения в образовательных и промышленных сценариях, что позволит повысить интерпретируемость выводов и ускорить внедрение ИИ-технологий.
Source: Ġylym ža̋ne bìlìm
Authors: Владимир Мысько, Акмарал Касымова, Дархан Жаксыбаев
Language: Russian
Topic: Topic Modeling
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
SDG: Quality education
Open Access status: bronze
OpenAlex ID: W4412036964
