为什么需要合成数据
训练一个像样的模型，瓶颈往往不是算力，而是数据。高质量、有标注、覆盖长尾场景的真实数据越来越贵、越来越难获取，还常常涉及版权与隐私问题。当"喂给模型的真实语料即将耗尽"成为行业公开的担忧之后，合成数据（Synthetic Data）便从一个边缘技巧，变成了训练流程中的一等公民——用模型生成数据，再用这些数据去训练（更好的）模型。
合成数据从哪里来
常见做法有几类：一是用强模型为弱模型"造题造答案"，即知识蒸馏式的数据生成；二是让模型针对种子样本做改写、扩写与风格迁移，制造多样性；三是用规则或程序生成结构化的题目（例如数学题、代码题），再用模型或执行器验证答案；四是在仿真环境里让智能体自主交互，生成轨迹数据用于训练决策模型。它们的共同点是：数据由程序或模型批量生产，而不是由人工逐条标注。
关键在于验证，而不是生成
合成数据最大的风险是"垃圾进、垃圾出"：模型生成的错误会被下一轮训练放大，形成所谓的模型崩溃（model collapse）。因此真正决定成败的是质量把关，而不是生成数量。工程上常用三道闸门：
可执行验证：代码能跑通、数学题答案能被校验、结构化输出能通过 schema 检查。
一致性过滤：用多个模型或多次采样交叉投票，剔除明显错误的样本。
与真实数据混合：合成数据通常只作为补充，保留一定比例的真实（人类）数据作为"锚点"，避免分布漂移。
企业可以怎么用
对做垂直应用的企业来说，合成数据往往比训练基础模型更实用：在数据稀缺的领域（如医疗、金融、工业），可以用少量真实样本加合成数据扩充训练集；在需要特定格式输出的场景，可以批量生成"输入—期望输出"对来做微调；在测试环节，合成数据能低成本地覆盖罕见的边界情况，帮助发现模型的薄弱点。前提始终是：合成数据要可追溯、可验证，并且不把真实的敏感信息"反向生成"出来。
心态要摆正
合成数据不是"免费的数据"，它把标注成本转移成了验证成本与算力成本。用得好，它能显著缓解数据稀缺；用得糙，只会让模型在自己的幻觉里越陷越深。对团队来说，先想清楚"用什么标准判断一条合成数据是否可用"，比急着扩大生成规模更重要。
参考来源：综合整理自公开讨论模型崩溃（Model Collapse）与合成数据的研究论文，以及主流大模型厂商公开的数据策略说明。