Z-Новости
[06.06.2025] Смешать, но не взбалтывать: ВШЭ и AIRI ускорили дообучение нейросетей
Исследователи из ВШЭ и AIRI предложили метод быстрой донастройки нейросетей: данные обрабатываются по группам, которые затем перемешивают оптимальным образом, чтобы улучшить их взаимодействие. Метод лучше аналогов справляется с генерацией и анализом изображений, дообучением текстовых моделей. При этом он требует меньше памяти и времени на обучение. Результаты работы были представлены на конференции NeurIPS 2024.
Чем больше нейросеть, тем сложнее быстро подстроить ее под новую задачу. Переобучать модель с нуля — это долго и дорого. Поэтому разработчики ищут бюджетные способы адаптировать ее под конкретную задачу, сохранив при этом общее качество исходной версии.
Один из них — донастройка с помощью ортогональных матриц: в отличие от альтернативных подходов, они сохраняют важные признаки исходной модели. Но у популярных вариантов вроде блочно-диагональных или бабочковых (Butterfly) матриц есть недостатки: они либо ограничены, либо требуют множества вычислений.
