Day 6
海外运营 × Codex 训练营

竞品监控
每日自动抓 + Codex 通知

用一段话让 Codex 帮你每天自动盯几个竞品,
抓价格 / 上新 / 活动 → 只把"变化"主动通知你
从此你比对手早 24 小时知道动向。

讲师 Terrence 时长 90 分钟 产物 1 段提示词 → 每天自动监控 + Codex 主动通知你
Day 6 · 开场

今天结束,你能做到

关键判断:不是"我会写爬虫了"——是"我有了一个 24/7 帮我盯着对手的数字员工"。
Day 6 · 开场

在开始之前——
你做竞品监控的真实状态

传统做法
  • 每天上班打开 5 个竞品网站手动看(15 分钟)
  • 看到价格变化截图存微信群(半小时)
  • 周末总结写"竞品周报"(2 小时)
  • 漏看促销 / 上新 → 老板问起来支吾
  • 结果:看完忘了,对比靠记忆

每天 30 分钟 · 漏报率 60%

Codex 做法
  • 一次性用一段话给 Codex 描述竞品 + 字段(20 分钟)
  • Codex 自动完成抓取 + 对比 + 通知(你不写代码)
  • 让它每天自动跑一次(你不用守着)
  • 只在有变化时 Codex 通知你(0 噪音)
  • 历史自动留存,随时回查

1 次 30 分钟搭建 · 之后 0 维护

💡 核心差异:手动监控的边际成本是"每天都要花时间",Codex 监控的边际成本归零——加一个竞品只需多写一句话。
Day 6 · 选字段

监控什么字段 · 海外运营 5 类高价值变化

1
价格 / 折扣(变价 = 直接影响转化)主页 banner 价 · 主推 SKU 详情页价 · checkout 时的促销 code
2
首页 banner / hero 文案(活动起跑信号)banner 一改 → 大概率是新 campaign · 比官方 newsletter 早 1-3 天
3
SKU 数 / 新品上架(产品节奏)从 collection 页抓产品总数 · 数字+1 就是上新
4
社交内容节奏(投放信号)TikTok / Instagram 24h 新视频数 + TOP 3 标题 · 数量翻倍 = 加投预算
5
评论 / 评分(口碑反转)Trustpilot / Amazon 评分小数点变化 · 差评激增 = 出事了
💡 新手只抓 1-3。先把"价格 + banner + SKU 数"跑通,再加社交和评论。别一上来 5 个全要
Day 6 · 流程

全流程 · 你只管描述,其余 Codex 全包

每天自动触发(你不用手动操作) │ ▼ ① 打开你指定的竞品网址,抓到你要的字段 │ ▼ ② 记住今天的结果(留着和昨天比) │ ▼ ③ 只挑出"变了的"那几项 │ ▼ ④ Codex 通知你:今天哪个竞品、哪个字段、从多少变到多少
🔑 核心:①抓 → ②记住 → ③找变化 → ④通知,四步全交给 Codex。你唯一要做的,是把"盯谁、盯什么、什么算变化"在提示词里说清楚。
Day 6 · Prompt

核心提示词 · 复制后只改 1 处

我想每天自动盯几个竞品的变化,请帮我做好这件事。 要盯的竞品和字段(这部分换成你自己的): 1) 竞品 A · (网址) 盯:首页 banner 文案 + 主推产品价格 2) 竞品 B · (网址) 盯:首页促销活动 + 在售商品数 3) 竞品 C · (网址) 盯:最近上新 请帮我: 1) 自动打开这些网址,抓到上面这些字段 2) 把每天的结果记下来,和昨天对比,只挑出"变了的" 3) 有变化时整理成一条简明日报通知我,标题"📊 竞品日报 {今天}", 每个变化一行:"{竞品} · {字段}:{昨天} → {今天}" 4) 让它每天早 9 点自动跑一次,我不用手动操作;没有变化就不打扰我 合规(请一并照做): - 遵守网站 robots.txt,不抓需要登录的内容 - 抓取间隔 ≥ 3 秒,单次最多 20 个页面 - 只抓商品的公开信息,不抓用户评论里的姓名/邮箱 跑起来后告诉我:怎么用、哪里要我填、第一次结果长什么样。
⚠️ 只需改 1 处:把竞品网址和要盯的字段换成你自己的。抓取、对比、定时、通知——剩下的整句交给 Codex,你不用懂代码
Day 6 · 反爬

竞品网站不让爬怎么办

轻度反爬 · 90% 站点
  • 加真实 浏览器标识(Codex 自动加)
  • 请求间隔 ≥ 3 秒(不刷接口)
  • 让 Codex 模拟真实浏览器(应对极少数检测)
  • 用住宅 IP(云端运行默认是数据中心 IP,被识别就让 Codex 加代理)
中度反爬 · 网站防护
  • 让 Codex 加上反检测处理
  • 跳过 challenge:先访问首页留 cookie,再访问产品页
  • 实在不行让 Codex 换一个更抗反爬的抓取方式
  • Codex 一句话"换一个更抗反爬的方式重试"
🚫 这些坚决不爬:(1) 需要登录的页面 (2) robots.txt 禁止的路径 (3) 个人账号 / 用户信息 (4) 有图形验证码的(爬过去了也违法)。海外尤其严,GDPR / CCPA 罚款起步 $千万
Day 6 · 合规

合规红线 · 海外爬虫 5 条不能碰

  1. 不爬登录后内容——hiQ Labs v. LinkedIn 案后美国判例倾向"公开 = 可爬,需登录 = 禁止"
  2. 遵守 robots.txt——不是法律强制但是行业共识,违反在欧盟可能被列为不正当竞争
  3. 不爬个人信息——用户评论里的姓名 / 邮箱属于 GDPR 个人数据,不存不传
  4. 请求节流——QPS > 1 可能被认定 DoS(拒绝服务攻击),延迟 ≥ 3 秒为底线
  5. 不冒充人类——浏览器标识 写明 bot 身份("MyMonitorBot/1.0 contact@xx.com")反而更合规
⚠️ 真实案例:2024 一个国内电商运营爬美国 Sephora 抓 SKU 价格被起诉,因为他爬了商品评论(含用户名)违反 CCPA。只抓"商品本身的公开属性"是安全区
Day 6 · 避坑

常见错误 · 通知变成"通知地狱"

症状:刚上线那 3 天人人盯通知,第 4 天起没人看了。

3 个止血策略(都靠一句话告诉 Codex):

在刚才的基础上再加一句: - 只在有变化时才通知我,没变化不要发 - 价格变化小于 5% 当作噪音,不要推 - 价格降超过 15% 的,单独重点标出来 🚨
⚠️ 核心原则:通知是注意力税。每条都要值得读。宁可少推不能滥推。
Day 6 · 实操
现在轮到你

30 分钟实操
盯住你最想盯的 2 个海外竞品

用你真正关心的 2 个竞品(不是讲师示例)
把核心提示词改一改发给 Codex,最后产出:
一段你自己的提示词 + 一个每天自动盯竞品、有变化就通知你的监控

⏱ 30 分钟 · 讲师全程巡场

Day 6 · 实操

实操 4 步

1
选 2 个竞品 + 想盯的字段(5 分钟)建议:1 个品牌官网 + 1 个社交账号 · 字段 ≤ 3 个
2
把核心提示词贴进 Codex(5 分钟)只改 1 处:竞品网址 + 要盯的字段
3
让 Codex 先跑一次给你看(10 分钟)抓不到就把页面截图丢给它;报错就把报错原样贴回去让它修
4
让它每天自动跑 + 调通知(10 分钟)对 Codex 说"每天 9 点自动跑、只推变化",确认你能收到通知
Day 6 · 实操

验收清单 · 你应该有的产物

  1. 一段属于你自己的监控提示词(竞品网址 + 字段已填好)
  2. 让 Codex 跑一次,能看到它抓到的字段(首次没有"变化"很正常,没昨天可比)
  3. 设定成每天自动跑一次,不用你手动操作
  4. 有变化时你能收到 Codex 的通知(首次可能是"无变化"——OK,第二天起才有对比)
  5. 明天它会自动盯一次,有变化就主动通知你
5 个都打勾 → 今天目标达成。明天见证奇迹。
Day 6 · 进阶

下周你能再做的 4 件事

1
加 LLM 总结changes 太多 → 让 Codex 把 10 条变化总结成"今日 3 个 takeaway"再通知你
2
加截图证据每次抓时让 Codex 存一张网页截图 · 周末拼 1 张"竞品价格变化时间线"
3
扩展到 10+ 竞品多加几个竞品 · 让 Codex 把抓取时间错开避免被封
4
反向做:被监控提醒让 Codex 监控你自己网站——价格被恶意爬 / banner 被改 → 立刻报警
💡 原则:今天搭好的是基础设施——加任何功能,就是再对 Codex 说一句话。再不用从零开始。
Day 6 · 方法论

运营做爬虫 × Codex · 3 条原则

  1. 定义"变化"比"抓取"重要 10 倍——抓数据是体力活(Codex 全包),决定"什么算有意义的变化"是脑力活(只能你来)
  2. 合规是地基不是补丁——把"遵守 robots.txt + 不爬登录"写进 prompt 里,Codex 自动遵守。事后补很麻烦
  3. 系统的价值 = 运行时长 × 信噪比——跑 1 年 + 推 100 条都是关键变化 > 跑 1 周 + 推 1000 条噪音
核心 mindset:Codex 不是替你做监控——是把"监控"变成数字员工岗位,让你把自己的注意力留给"看到变化后怎么反应"。
Day 6 · 小结

今天 3 个 takeaway

  1. 监控 = 抓 + 记住 + 找变化 + 通知——少一环就废。Codex 一段提示词全包,你只描述竞品 + 字段 + 什么算变化
  2. 你只需要把"要什么"说清楚——抓取、对比、定时、通知都交给 Codex,不用写代码、不用部署
  3. 不要通知一切,只通知有意义的变化——通知设计比抓取技术更影响真实效果
课后作业(明天前完成):让监控跑 24 小时,明天把收到的 Codex 通知截图发到课程群。没收到的把现象描述给 Codex 一起排查
Day 6 · 实操素材

📦 本节素材 + 对 Codex 说的话

不用写代码——把下面这段话(按需替换尖括号里的内容)发给 Codex 就行:

我想每天自动盯一个竞品的变化。竞品:Allbirds(https://www.allbirds.com)。 盯:首页主推产品的名称和价格、首页有没有新的促销活动。 请帮我: 1) 自动打开这个网址,抓到上面这些信息; 2) 每天和昨天对比,只挑出"变了的"; 3) 有变化时整理成一条简明日报通知我("{字段}:{昨天} → {今天}"); 4) 让它每天早 9 点自动跑一次,没变化就不打扰我。 遵守网站 robots.txt,抓取间隔 ≥ 3 秒,只抓商品公开信息。 (把网址和要盯的内容换成你自己的竞品即可)
📊 监控竞品配置表.csv 预览(前 3 行,完整文件见下方下载):
competitorurlwatch_fieldnote
练习站(首选)https://books.toscrape…书名 + 价格 + 库存专门给练手的站,HTML 里就有商品和价格,…
练习站(备选)https://webscraper.io/…商品名 + 价格另一个练习用电商站
真实竞品 The Ordinaryhttps://theordinary.co…首页主推 + 促销文案真实护肤品牌官网(页面较重,练熟后再试)
📎 本节文件(点下载,放到桌面再喂给 Codex)

配置表含 2 个公开抓取练习站 + 2 个真实护肤品牌官网,仅抓公开信息,可放心演示。

📝 讲师备注 · 按 N 切换显示 / 隐藏
翻页 · Space 下一页 · F 全屏 · N 备注 · Home 首页