Synthetic Data: When Large Models Start Producing Their Own Training Data
为什么需要合成数据训练一个像样的模型,瓶颈往往不是算力,而是数据。高质量、有标注、覆盖长尾场景的真实数据越来越贵、越来越难获取,还常常涉及版权与隐私问题。当"喂给模型的真实语料即将耗尽"成为行业公开的担忧之后,合成数据(Synthetic Data)便从一个边缘技巧,变成了训练流程中的一等公民——用模型生成数据,再用这些数据去训练(更好的)模型。合成数据从哪里来常见做法有几类:一是用强模型为弱模型