In this Article
合成数据是人工生成、用来模拟真实数据的记录。在真实数据稀缺、敏感或采集成本高昂时，它已成为训练模型的常用工具。但合成数据长期存在一个弱点：它可能偏离现实，反映的是生成系统内置的假设，而非真实世界的实际运行方式。解决办法是锚定：用真实世界数据对合成数据进行校准和验证，其中相当一部分来自实时网络。本指南将介绍合成数据的定义、适用场景、为何需要锚定，以及网络数据及其背后的代理如何帮助合成数据保持可靠。
我是 Andrii Byzov，一名 AI-Native Fractional CMO，专注于为 ML 构建数据管道。下文将清晰说明合成数据的定义、团队为何使用它、为何需要锚定，以及如何利用真实网络数据进行验证。可结合我们关于机器学习数据采集的指南配合阅读。
关键事实
- 合成数据生成的是记录，而非采集记录：用于填补真实数据稀缺、敏感或类别失衡时的空缺。
- 它的弱点是漂移。 合成数据会反映生成器的假设，因此可能随时间推移偏离真实世界的分布。
- 锚定有助于发现并减少漂移。 你可以用真实数据为合成数据提供种子、进行验证和基准测试，常见来源包括网页数据、API、日志和授权数据源。
- 网页锚定数据具有地域多样性，且规模可观，因此收集这类数据时通常会使用轮换住宅代理。这对某些跨地域网页采集很有帮助，但并非唯一的数据来源。
- 混合方案效果最佳。 高质量数据集会结合合成数据的规模优势与真实世界锚点，以保持贴近现实。
什么是合成数据？
合成数据是由算法（生成模型、仿真或统计规则）创建的数据，而不是从真实事件中收集的数据。它旨在与真实数据足够相似，可用于训练或测试，但不对应任何一条特定的真实记录。银行可以生成符合真实消费模式的合成交易，而不暴露任何单个客户；视觉团队可以渲染相机几乎从不捕捉到的罕见边缘情况的合成图像。它的优势在于可控性：你可以按需生成任意规模的数据、平衡类别，并减少真实数据带来的部分隐私和授权问题，前提是生成和验证过程足够审慎。合成数据仍可能泄露信息，或继承源数据中的问题。
为什么团队使用合成数据
- 稀缺性：当真实示例很少见（欺诈、缺陷、罕见疾病）时，你可以生成更多数据用于训练。
- 隐私：合成替代数据让团队能够在不暴露个人数据或受监管数据的情况下开展工作。
- 平衡：生成代表性不足的类别，使模型不会被多数类别主导。
- 边缘情况：模拟无法安全收集的危险或高成本场景（例如自动驾驶模型中的险些碰撞）。
- 成本和速度：无需耗费大规模收集和标注所需的时间与成本，即可快速创建大型数据集。
锚定问题：合成数据偏离现实
合成数据的质量取决于生成它的模型或规则，而模型和规则本身都带有假设。根据上一季度的分布生成价格，就会错过本季度的通胀；用有偏样本训练生成器，就会放大偏差；模拟用户行为时，你编码的是你对用户的想象，而不是真实用户。其失效模式很隐蔽：合成数据看起来合理，模型训练也正常，但在生产环境中表现不佳，因为它学到的是一个并不完全存在的世界。因此，合成数据不能在脱离现实反馈的闭环外独立运行，必须持续与现实保持连接。
如何用网络数据锚定合成数据
锚定是指利用真实世界数据，其中相当一部分来自实时网络，通过以下三种方式让合成数据保持可靠：
1. 提供种子。 用真实样本训练或约束生成器，让它以真实分布为起点，而非凭空猜测。
2. 验证结果。 将合成数据的统计特征，如分布、范围和相关性，与最新的真实世界样本进行比较，在漂移影响训练前将其识别出来。
3. 进行基准测试。 用真实测试数据评估基于合成数据训练的模型，衡量其真实表现，而不是合成数据内部的一致性。
一个简单的合理性检查：获取最新的真实样本（例如实时价格、列表或网络文本），并将基础统计数据（如下方的中位数，实际操作中也包括离散程度和尾部）与你的合成数据集进行比较。
import requests, statistics
# Collect a real-world sample to ground/validate synthetic data against.
# Residential proxies give geo-targeted access to each market's pages
# (access/location — not a substitute for sound sampling).
proxies = {"http": "http://LOGIN:[email protected]:823",
"https": "http://LOGIN:[email protected]:823"}
def real_prices(urls):
out = []
for url in urls:
r = requests.get(url, proxies=proxies, timeout=30)
r.raise_for_status()
out.append(parse_price(r.text)) # your parser -> float
return out
def grounding_check(synthetic, real, tol=0.15):
"""Toy sanity check: flag synthetic data whose median drifted from the
real sample. For real validation also compare spread, tails and shape
(KS / PSI / Wasserstein), not just the median."""
if not real:
raise ValueError("need a real sample to ground against")
s_med, r_med = statistics.median(synthetic), statistics.median(real)
drift = abs(s_med - r_med) / r_med if r_med else float("inf")
return {"synthetic_median": s_med, "real_median": r_med,
"drift": round(drift, 3) if r_med else None,
"ok": bool(r_med) and drift <= tol}
print(grounding_check(synthetic_prices, real_prices(sample_urls)))
定期对最新网页数据运行这项检查，就能及早发现合成数据漂移，真实世界样本正是锚点。
为什么代理对锚定很重要
锚定层很大程度上涉及网络数据采集，也会遇到常见障碍。真实世界锚点必须是最新的（过时的锚定数据并不比过时的合成数据更好）、地域多样化的（仅基于单一市场锚定的生成器会继承该市场的偏差），并且需要在众多来源中大规模收集。网站会对数据中心 IP 进行速率限制和标记，因此跨地域网络采集通常会使用轮换住宅代理。DataImpulse 覆盖 195 个国家/地区，价格为 $1/GB，并支持地理定位，可访问各个真实市场（同时也会结合 API、授权数据源和公共数据集等其他来源）。为ML 数据收集和替代数据提供支持的同一基础设施，也正是让合成数据保持锚定的基础。
收集用于锚定的网络数据是否合法？
收集公开的非个人网络数据来验证合成数据或提供种子，应遵循与其他网络抓取相同的规则。有意思的是，合成数据通常正是为了避免处理真实个人数据而使用，这也是其优势之一。将锚定收集保持在可辩护的范围内：优先使用公开的非个人数据，遵守网站条款，并将 robots.txt 视为可能具有法律或合同效力的技术政策信号；不要绕过登录，并控制请求频率；公开可用并不意味着版权或隐私问题就不存在，因此需要按来源和用途进行评估。在某些情境下，使用代理进行合法采集可能合规，但需逐一评估来源（在重要情况下咨询法律顾问）。有关框架，请参阅网络抓取是否合法。本文为一般信息，并非法律建议。
常见问题
什么是合成数据？
合成数据是由算法生成的数据，包括生成式模型、仿真或统计规则生成的数据，它类似真实数据，但并不对应任何特定的真实记录。团队会在真实数据稀缺、涉及隐私、类别不平衡或采集成本高昂时，用它来训练和测试模型。
什么是合成数据的网络锚定？
锚定是指使用真实世界数据让合成数据贴近现实，其中很大一部分来自实时网络。你可以基于真实样本为生成器提供种子，用最新真实数据验证合成分布，并在真实测试集上对模型进行基准测试，从而让合成数据贴近现实，而不偏向生成器自身的假设。
为什么合成数据需要锚定？
因为合成数据会编码生成它的系统所包含的假设，因此它可能偏离真实世界的分布，而且这种偏离往往很隐蔽，即使看起来仍然合理。如果没有真实世界锚点用于验证，模型可能在合成数据上训练得很顺利，却在生产环境中表现不佳。锚定可以捕捉这种偏移。
我需要代理来采集锚定数据吗？
通常需要，尤其是在进行实时、地域多样化且大规模的网络采集时。锚定数据必须新鲜并反映真实市场，而网站会限制速率并标记数据中心 IP，因此地理分布式采集通常会使用轮换住宅代理。不过，它们并不是唯一来源：API、授权数据源和公共数据集也都是组合的一部分。
合成数据比真实数据更好吗？
二者并没有绝对更好之分，它们解决的是不同问题。合成数据为你提供规模、平衡性和隐私保护；真实数据为你提供真实基准。效果最佳的是混合式方法：以真实世界锚定数据支撑合成数据的规模，同时保持贴近现实。
结论
合成数据能提供真实采集不易获得的数据规模、均衡性和隐私保护，但若单独使用，可能逐渐偏移，学到的是生成器塑造的世界，而非真实世界。将其与最新且地域多样化的网络数据对齐，可以弥合这一差距：以真实样本提供种子，用最新样本验证，并用真实测试进行基准评估。这个对齐层本质上是一条网络数据管道，因此可利用与其他采集流程相同的住宅代理基础设施。使用合成数据实现规模化，并通过真实世界对齐保持可靠性。有关采集，请参阅 machine learning data collection 和 best proxies for ML training。
最后更新：2026 年 6 月 26 日。