How to Generate and Use Synthetic Data for Finetuning
Юджин Ян делает обзор того, как генерировать и использовать синтетические данные для дообучения языковых моделей. Существуют два основных подхода: дистилляция знаний из более сильной модели-учителя и