Применение И Оптимизация Архитектуры Mixture of Experts (moe) Для Различных Задач
Year: 2025
Type: article
Abstract: Аннотация. В работе рассматривается проблема повышения эффективности архитектур Mixture of Experts (MoE) в задачах обработки естественного языка и компьютерного зрения при ограниченных вычислительных ресурсах. На основе анализа существующих решений формулируются ключевые ограничения, связанные с роутингом экспертов, неравномерной балансировкой нагрузки и масштабируемостью моделей. Предлагается гибридная MoE‑архитектура с доменно‑специализированными экспертами для NLP и CV и модифицированным алгоритмом роутинга, учитывающим как тип входных данных, так и статистику загрузки. Экспериментальная оценка на бенчмарках GLUE и ImageNet демонстрирует улучшение соотношения «качество–задержка» по сравнению с плотными моделями и базовыми реализациями MoE при сопоставимом вычислительном бюджете. Результаты ablation‑исследований подтверждают значимость балансировочных механизмов и специализации экспертов, а также позволяют выделить направления дальнейшего развития гибридных MoE‑архитектур в составе многоуровневых ИИ‑систем. Ключевые слова: Mixture of Experts; MoE; гибридная архитектура; роутинг экспертов; балансировка нагрузки; разреженные модели; трансформеры; обработка естественного языка; компьютерное зрение; мультимодальные модели.
Author: Дуплей, Максим Игоревич
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7114993799
FWCI:
Cites:
Cited by:
Related to: