Is Fine-Tuning Still Valuable?
Hamel Husain делится мнением о ценности fine-tuning на фоне растущего скептицизма в сообществе. Он считает, что многие критики работают над продуктами, где fine-tuning заведомо не нужен: инструменты для разработчиков, foundation-модели или универсальные ассистенты. Ключевое препятствие — отсутствие domain-specific eval-системы, без которой невозможно ни эффективно дообучать модель, ни улучшать продукт в долгосрочной перспективе. Автор советует сначала выжимать максимум из prompt engineering — в первую очередь как способ стресс-тестирования eval-системы. Fine-tuning лучше всего подходит для изучения синтаксиса, стиля и правил, тогда как RAG — для подачи контекста и актуальных фактов. В качестве успешных примеров он приводит Honeycomb Natural Language Query Assistant и Lucy от ReChat, а также напоминает, что fine-tuning делают и поверх GPT-3.5 — например, Perplexity.AI и CaseText.
Вот моё личное мнение по вопросам, которые я задал в этом твите:
Всё больше голосов выражают разочарование в fine-tuning. Мне интересно, какие настроения в целом. (Своё мнение пока придерживаю.) Твиты ниже от @mlpowered @abacaj @emollick pic.twitter.com/cU0hCdubBU — Hamel Husain (@HamelHusain) March 26, 2024
Я считаю, что во многих ситуациях fine-tuning по-прежнему очень ценен. Я покопался глубже и обнаружил, что люди, утверждающие, будто fine-tuning бесполезен, действительно часто работают над продуктами, где он вряд ли будет полезен:
Они делают инструменты для разработчиков — foundation-модели уже плотно обучены на задачах программирования. Они строят foundation-модели и тестируют их на самых общих случаях. Но и сами foundation-модели обучаются под максимально общие случаи. Они делают персонального ассистента, не привязанного ни к какому домену или сценарию использования, и по сути это те же люди, что строят foundation-модели.
Ещё один частый паттерн: такие слова обычно произносят на ранних стадиях разработки продукта. Один из признаков того, что команда действительно на самой ранней стадии, — у них нет специфичной для домена eval-инфраструктуры.
Невозможно эффективно проводить fine-tuning без eval-системы, и из-за этого fine-tuning могут списать со счетов, если этот предварительный этап не пройден. Также невозможно улучшать продукт в долгосрочной перспективе без хорошей eval-системы — независимо от того, делаете вы fine-tuning или нет.
Перед fine-tuning стоит выжать максимум из prompt engineering. Но не по тем причинам, о которых вы могли подумать! Главная причина в том, что это отличный способ стресс-тестирования вашей eval-системы!
Если prompt-engineering справляется (а вы систематически оцениваете свой продукт), то на этом можно остановиться. Я большой сторонник самого простого подхода к решению задачи. Просто я не считаю, что fine-tuning стоит списывать со счетов.
Примеры, где я видел, как fine-tuning хорошо работает
В общем случае fine-tuning лучше всего подходит для изучения синтаксиса, стиля и правил, тогда как такие техники, как RAG, лучше подходят для того, чтобы снабжать модель контекстом или актуальными фактами.
Это несколько примеров из компаний, с которыми я работал. Надеюсь, скоро мы сможем поделиться большим количеством деталей.
Natural Language Query Assistant от Honeycomb — раньше «руководство по программированию» для языка запросов Honeycomb засовывали в промпт вместе с множеством примеров. Это работало нормально, но fine-tuning сработал гораздо лучше: модель смогла выучить синтаксис и правила этого нишевого предметно-ориентированного языка. Lucy от ReChat — это AI-ассистент для недвижимости, встроенный в существующую CRM-систему для риэлторов. ReChat нужно, чтобы ответы LLM выдавались в очень специфическом формате, который сплетает структурированные и неструктурированные данные так, чтобы фронтенд мог динамически отрисовывать виджеты, карточки и другие интерактивные элементы прямо в чате. Fine-tuning стал ключом к тому, чтобы это заработало корректно. В этом докладе больше деталей.
P.S. Fine-tuning не ограничивается только open-source или «маленькими» моделями. Многие дообучают и GPT-3.5 — например, Perplexity.AI и CaseText, если назвать лишь несколько.