机器人与自动化用代理:每个 IP 一个身份、礼貌的节奏,以及出现验证码时该怎么办
本文目录
脚本、定时任务、测试套件和浏览器自动化发出的流量,都不是由人一下一下手动点出来的,这正是它们存在的意义。本文讲的是如何通过代理运行这类正当的自动化,让它保持稳定:代理能带来什么,比 IP 更重要的五条规则,网站用验证码回应时该怎么办,以及一个能检测到验证并干净地停下、而不是硬闯下去的 Python 示例。本文不是教你绕过网站的规则,也帮不上这方面的忙。
代理对自动化有什么用,又没有什么用
有帮助的方面:
- 地理位置。看到新加坡访客所看到的页面,或者从新加坡移动网络做测试。
- 隔离。给每个真实账号或每项任务分配各自的地址,这样一个会话的活动不会和另一个混在一起。
- 更好的起点。移动 IP 比数据中心 IP 更不容易一见面就被标记,这意味着在你自己的行为被计入之前,遇到的验证更少。参见 干净代理与验证码。
没有帮助的方面:
- 许可。如果网站禁止自动化,代理并不会让你的脚本变得被允许。
- 行为。速度、重复性,以及看起来像自动化的浏览器,都是独立于 IP 被读取的。
- 验证码和验证。它们检查的是这次访问,而不只是地址。我们不会把代理当作攻破它们的办法来卖。
关于机器人是什么、哪几类受欢迎的概览,见 什么是 botting。
比 IP 更重要的五条规则
- 每个 IP 和会话只用一个身份。让 Cookie、user agent 和账号始终与它们最初使用的 IP 绑在一起。不要同时让许多账号通过同一个地址运行,也不要把一个账号随意在不同地址之间切换。
- 人的节奏,加上随机抖动。页面之间隔几秒,并带有随机变化,并行连接要少。固定的间隔本身就是一个信号。更多细节见 如何抓取而不被封。
- 被要求退让时就退让。遇到 429 时,等待
Retry-After给出的时间,然后放慢速度。不要在紧凑的循环里重试。各个状态码的含义见 抓取时的 403、429 和 503 错误。 - 表明身份并使用缓存。在合适的情况下使用清晰的 User-Agent 并附上联系地址,不要重复下载没有变化的页面。
- 网站说不时就停下。反复出现的验证、拦截页面或者要求停止的请求,都是网站的决定。请尊重它。见下一节。
出现验证时,先停下来读懂它
| 你收到的结果 | 通常意味着什么 | 该怎么做 |
|---|---|---|
| 429 Too Many Requests | 你太快了 | 等待 Retry-After,然后放慢速度运行 |
| 第一个请求就返回 403,而同一网络上的浏览器却能进去 | 你的程序缺少浏览器会发送的内容,或者这种 IP 类型被拒绝 | 检查请求头并手动测试 IP;参见 常见代理错误 |
| 一个“正在验证你是真人”的页面 | 网站想要做一次浏览器检查 | 如果网站允许自动化的话,用真实的浏览器并保持人的节奏 |
| 偶尔出现一个验证码 | 你的访问处在灰色地带 | 放慢速度,保持会话一致,检查 IP |
| 一个接一个的验证码 | 网站不想要这种流量 | 停止运行。改为申请 API 或权限 |
有两件事看起来像是解决办法,其实不是:
- 轮换 IP 后以同样的速度继续。网站会在新地址上看到同样的节奏。轮换是针对被限制的 IP,而不是无视验证的办法。
- 使用验证码破解服务。它违背了这项检查的初衷,违反大多数网站的条款,也会增加你的法律风险。我们建议不要这样做;参见 不该越过的界线。
如果遇到循环的是真人而不是脚本,分步骤的做法见 验证码一直出现或陷入循环:8 种解决办法。
示例:遇到验证就停下的礼貌抓取程序
这段 Python 草稿通过你的代理,以人的节奏加载页面,遵守 Retry-After,并且在验证出现的那一刻停止整个运行。代理的详细信息来自环境变量,千万不要把它们写进代码里。
import os
import random
import time
import requests
PROXY = os.environ["PROXY"] # http://USER:PASS@HOST:PORT
HEADERS = {"User-Agent": "my-price-checker/1.0 (contact: [email protected])"}
MAX_TRIES = 3
class Challenged(Exception):
"""The site asked for a human. Stop the run; don't try to solve it."""
def looks_like_challenge(resp):
# Cloudflare marks challenge responses with this header; other vendors differ.
if resp.headers.get("cf-mitigated") == "challenge":
return True
body = resp.text[:20000].lower()
return any(word in body for word in ("captcha", "verify you are human", "unusual traffic"))
def retry_after(resp, default=60):
value = resp.headers.get("Retry-After", "")
return int(value) if value.isdigit() else default
def polite_get(session, url):
for attempt in range(1, MAX_TRIES + 1):
resp = session.get(url, timeout=30)
if looks_like_challenge(resp):
raise Challenged(url)
if resp.status_code == 429:
time.sleep(retry_after(resp) * attempt)
continue
resp.raise_for_status()
return resp
raise RuntimeError(f"still rate limited after {MAX_TRIES} tries: {url}")
def run(urls):
session = requests.Session()
session.headers.update(HEADERS)
session.proxies = {"http": PROXY, "https": PROXY}
for url in urls:
try:
page = polite_get(session, url)
except Challenged:
print("Challenge page. Stopping the run:", url)
break
print(url, len(page.text))
time.sleep(random.uniform(3, 8)) # a human pace, with jitter关于这段草稿的说明:关键词检查也会匹配到一个只是谈论验证码的普通页面,所以请针对你的目标调整这些标记词。对于大量依赖 JavaScript 的页面,请使用真实的浏览器,而不是 requests;参见 抓取 JavaScript 网站。Python 的通用设置见 在 Python 中使用代理。
负责任地轮换 IP
4G 代理通过调用它的轮换链接来轮换,而每个 65Proxy 代理允许这样做的频率最多是每 5 分钟一次。请在IP 被限制时才轮换,而不是在每个请求之前轮换,并且在轮换之后开启一个全新的会话(新的 Cookie),因为网站刚刚看到的是一位新访客。调用链接并等待新 IP 的代码见 通过 API 轮换代理 IP。
需要多少个代理,多少流量
- 每个并发身份一个代理。计算同时运行的账号或任务数,而不是存在的全部。我需要多少个代理逐步讲解了这一点。
- 按页面大小预估流量。用一个典型页面的体积乘以你要加载的页面数。被验证的加载和重复的加载也会消耗额度。500GB 能用多久演示了如何测量。
不该自动化的事
- 对你不拥有的账号执行操作,或者任何形式的虚假账号。
- 虚假互动、评论和粉丝。原因见 代理用于种草和造势。
- 绕过购买限制和排队,这一点 抢购与限量发售用代理 有说明。
- 替你玩游戏的游戏机器人。
- 在没有法律依据的情况下收集个人数据。
65Proxy
65Proxy 销售用于正当工作的新加坡 4G 移动代理:每个订单一个代理,自带登录账号和轮换链接,支持 HTTP 和 SOCKS5,定价 1 天 $4、7 天 $13、1 个月 $32(每个含 200GB),另有带宽更大的月付套餐(500GB $40、1TB $65)。请先通过免费试用,在你真正的目标上试用一小时。我们不会把它们当作攻破验证码、封禁或限制的办法来卖。
常见问题
代理能让我的机器人无法被检测吗?
不能。代理改变的是网站看到的地址。节奏、浏览器信号和行为是被单独读取的,而且网站可以在任何时候对任何访客发起验证。
每分钟多少个请求才安全?
没有通用的数字。先从每隔几秒一个请求开始,观察 429 和验证所占的比例,出现时就放慢速度。有些网站会在文档或 API 条款中写明限制,请遵守它。
我应该在每个请求上都轮换 IP 吗?
不应该。这会破坏会话,看起来不自然,而且每个代理有 5 分钟的轮换限制,所以本来也做不到。请在 IP 被限制时再轮换。
我的脚本遇到验证码时应该怎么做?
停止、记录下来,并提醒你。然后检查你的节奏,查看是否有 API,或者申请访问权限。上面的示例展示了大致的做法。
我可以把 Playwright 或 Selenium 与这个代理一起用吗?
可以。两者都支持带用户名和密码的代理;Playwright 和 Puppeteer 的设置见 通过 API 轮换代理 IP。节奏和验证方面的规则同样适用。