Метаэвристическая оптимизация промптов для больших языковых моделей на основе многорукого бандита и детерминантных точечных процессов
Type: article
Abstract: Аннотация: Эффективность больших языковых моделей в значительной мере определяется качеством текстовых инструкций -промптов, направляющих поведение модели.В данной статье предлагается метод RIDER (Reflective Iterative Diversity-Enhanced Reasoning), сочетающий эволюционные вычисления с адаптивным выбором операторов на основе сэмплирования Томпсона, управлением разнообразием популяции через адаптивный порог косинусного сходства и долгосрочной памятью межпоколенческих закономерностей.Метод использует десять эволюционных операторов, включая четыре оригинальных: мутацию по родословной, ламарковскую мутацию, рефлексивный кроссовер и элитарную мутацию с контекстом долгосрочной памяти.Формирование финального ансамбля из пяти промптов осуществляется через детерминантные точечные процессы.Экспериментальная оценка на пяти бенчмарках с тремя языковыми моделями (GPT-4o-mini,DeepSeek-V3.2,Gemini-2.5-Flash-Lite)показала, что RIDER продемонстрировал более высокое и сопоставимое качество на пяти бенчмарках, превосходя ближайший конкурентный метод PromptBreeder на 19 % по средней метрике.Ключевые слова: автоматическая оптимизация промптов, большие языковые модели, эволюционные алгоритмы, сэмплирование Томпсона, детерминантные точечные процессы, управление разнообразием, рефлексия, ансамблевые методы, метаэвристическая оптимизация.
Source: CyberLeninK (CyberLeninka)
Language: Russian
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7224983025