了解反爬虫的底层逻辑和 Shopcaiji 仿爬引擎的应对策略。全球 IP 切换、行为模拟、斗篷检测绕过——系统性的反爬解决方案。
做采集的人都会遇到同一个问题：反爬。目标网站检测到非正常访问行为后，会封 IP、弹验证码、返回假数据——导致采集失败。这篇指南帮你系统性地理解和应对反爬机制。
| 反爬手段 | 原理 | 影响 |
|---|---|---|
| IP 频率限制 | 同一 IP 短时间内请求过多 | 临时或永久封 IP |
| 验证码（CAPTCHA） | 检测非人类行为后弹验证 | 阻断自动化流程 |
| 动态渲染 / JS 加载 | 关键数据通过 JS 动态生成 | 纯 HTML 解析拿不到数据 |
| 请求头检测 | 检测 User-Agent、Referer 等 | 识别爬虫特征后拒绝服务 |
| 斗篷（Cloaking） | 对爬虫和真实用户展示不同内容 | 采集到假数据 |
系统内置全球 IP 池，可以在不同地区之间切换访问来源。当某个 IP 被限制后，自动切换到新 IP 继续采集。Amazon 等对 IP 敏感的站点推荐使用香港节点。
仿爬引擎不是简单地发送 HTTP 请求，而是模拟真实用户的浏览行为：随机点击间隔、鼠标移动轨迹、页面滚动、停留时间。这些行为特征让采集请求看起来和正常用户无异。
针对特定平台的独特反爬策略做专项适配：
Shopcaiji 提供「默认」和「配置 1」两种采集配置。如果默认配置采集失败，切换到配置 1 可以绕过某些站点的斗篷反爬——斗篷是对爬虫和用户展示不同内容的机制，切换配置可以改变请求特征从而获取真实内容。
当目标站不属于 30+ 已适配框架时，通用规则引擎会自动尝试采集。虽然通用规则以单品采集为主，但作为兜底方案，它可以处理绝大多数非标准站点。也可以关闭通用规则，在特定框架下精确匹配以获得更好的结果。