In this Article
杂货配送和外卖配送的定价看似是普通的电商抓取问题,实际却是本地化问题。商品并不存在唯一价格:价格取决于具体门店、平台、地址和时点。
本指南说明这对采集方案意味着什么、为何费用结构比标价更重要、以应用程序为先带来的障碍,以及其中的边界在哪里。
关键事实
- 这些平台不存在全国统一价格。商品目录、可用性和费用均会根据配送地址确定,因此没有地址的数据集无法与任何对象进行比较。
- 同一家门店在不同平台上的价格不同。菜单价格经常会因平台而上调,因此跨平台比较衡量的既有加价幅度,也有价格本身。
- 真正的成本藏在费用里:服务费、配送费、小额订单费和高峰加价,可能超过你原本要衡量的购物篮差额。
- 应用程序是主要使用界面,而网页版往往功能精简,这限制了公开采集所能看到的内容。
- 所有主流平台的条款都限制自动化访问,因此范围和频率是首要设计决策,而不是最后才考虑的问题。
为什么地址是决定性变量?
食品配送数据抓取的成败取决于这一点:平台会根据地址确定其后续的所有内容。我们称之为4 部分本地性模型。
| 变量 | 地址决定的内容 | 对数据集的影响 |
|---|---|---|
| 1. 门店集合 | 哪些门店会配送至你的地址 | 不同地址会产生完全不同的商品目录 |
| 2. 价格 | 门店级和区域级定价 | 相同的商品 SKU 在相距几公里的地点可能标有不同价格 |
| 3. 可用性 | 该门店的实时库存 | 缺货也是价格信号,且通常会被舍弃 |
| 4. 费用 | 配送距离、最低消费额和高峰加价 | 总成本的变动不受商品价格变动影响 |
实际结果是:每条记录都需要包含其采集所对应的地址或区域,并与记录一同存储。悄然混合不同区域的价格序列会产生看似市场变动、实则源于地理差异的波动。城市级或 ZIP 级出口能让结果可复现,而 DataImpulse 住宅代理支持这类定位,覆盖 195 个国家,价格为每 GB $1。
为什么跨平台比较可能造成误导?
加价。餐厅和门店经常会在配送平台上列出高于店内的价格,而且各平台的加价幅度不同。因此,按商品价格比较两个平台,衡量的是它们的商业安排,而非产品的基础成本。
费用会进一步放大这种差异。服务费通常按百分比计算,配送费随距离和时间变化,小购物篮低于某个门槛时会产生附加费,高峰定价则会随一天中的时段而变化。某个平台上看似便宜百分之十的购物篮,在结账时可能反而更贵。
唯一值得报告的比较,是在确定的购物篮、确定的地址和确定的时间下,结账时的总成本。任何不够具体的比较都会引出数据无法支持的结论。
实际上可以采集什么?
| 来源 | 适用情况 | 应避免的情况 |
|---|---|---|
| 平台网页店面 | 数据在该处显示,且条款允许这种访问方式 | 网页版是精简版商品目录 |
| 零售商自有网站 | 你需要货架价格,而非平台加价后的价格 | 你专门研究配送经济性 |
| 官方或合作伙伴 API | 针对你的合作关系存在此类 API | 切勿绕过已有文档说明的数据源进行抓取 |
| 人工或样本组抽样 | 准确性比覆盖范围更重要 | 你每天需要数千条观测数据 |
以应用程序为先的现实限制了第一行的适用性。这些企业重金投入应用程序,网页端通常只是其中的一部分。这限制了公开采集所能看到的内容,数据集应说明这一限制,而不应暗示内容完整。
规则和限制是什么?
所有主流配送平台的条款都限制自动化访问。这使范围成为首要决策:为价格研究而进行的小规模、低频率且边界清晰的采集,与持续提取完整商品目录是不同性质的做法,两者不会受到同样对待。
请控制采集频率。这些面向消费者的平台有真实的容量限制,激进采集既容易被察觉,也不够友善。
不要采集个人数据。评价、配送员姓名和订单历史均属于个人数据,价格数据集并不需要它们。
为所有内容加上时间戳。高峰定价和促销意味着没有时间的价格不构成事实。以下为一般信息,不构成法律建议:参见 网页抓取是否合法。
常见问题
为什么同一商品的配送价格不同?
因为平台会根据配送地址确定门店集合、价格、可用性和费用。相距几公里的两个地址,针对同一产品可能看到不同的门店、不同的价格和不同的费用结构。
我可以比较不同配送平台的价格吗?
只能比较在确定的购物篮、地址和时间下的结账总额。商品价格经常因平台而以不同幅度上调,因此比较标价衡量的是商业安排,而非产品成本。
为此需要城市级代理吗?
如果数据旨在描述某个市场,则需要。全国级出口只会提供某个任意区域的商品目录,而在同一序列中混合多个区域会产生看似市场变动、实则源于地理差异的波动。
数据在网页上可获取,还是只在应用程序中?
两者都有,但并不均衡。这些平台以应用程序为先,网页店面通常是精简版商品目录,这限制了公开采集所能看到的内容。数据集应说明这一限制,而不应暗示全面覆盖。
可以抓取配送平台吗?
其条款限制自动化访问,因此范围和频率是首要设计决策。零售商自有网站经常是获取货架价格的更好来源;如存在合作关系,则应始终优先使用官方或合作伙伴数据源。以下为一般信息,不构成法律建议。
