Q: Are there scenarios where synthetic data may not be reliable? – Hamel’s Blog - Hamel Husain
Да, синтетические данные могут вводить в заблуждение или маскировать проблемы. Hamel Husain перечисляет типичные сценарии, где они подводят: сложный предметно-специфичный контент (юридические, медицинские, технические документы), малоресурсные языки и диалекты, ситуации, когда реалистичность образцов невозможно проверить, а также области с высокими ставками — медицина, право, экстренное реагирование. Отдельный риск — недостаточно представленные группы пользователей, для которых LLM может искажать контекст и ценности, усиливая предвзятость обучающих данных. Во всех этих случаях для точной оценки важны реальные данные. Материал входит в AI Evals FAQ — сборник вопросов и ответов об оценке LLM.
Yes: synthetic data can mislead or mask issues. For guidance on generating synthetic data when appropriate, see What is the best approach for generating synthetic data?
Common scenarios where synthetic data fails:
Complex domain-specific content: LLMs often miss the structure, nuance, or quirks of specialized documents (e.g., legal filings, medical records, technical forms). Without real examples, critical edge cases are missed.
Low-resource languages or dialects: For low-resource languages or dialects, LLM-generated samples are often unrealistic. Evaluations based on them won’t reflect actual performance.
When validation is impossible: If you can’t verify synthetic sample realism (due to domain complexity or lack of ground truth), real data is important for accurate evaluation.
High-stakes domains: In high-stakes domains (medicine, law, emergency response), synthetic data often lacks subtlety and edge cases. Errors here have serious consequences, and manual validation is difficult.
Underrepresented user groups: For underrepresented user groups, LLMs may misrepresent context, values, or challenges. Synthetic data can reinforce biases in the training data of the LLM.
This article is part of our AI Evals FAQ, a collection of common questions (and answers) about LLM evaluation. View all FAQs or return to the homepage.