ボットと自動化のためのプロキシ:IPごとに1つのID、控えめなペース、CAPTCHAが出たときの対応
この記事の内容
スクリプト、定期実行のジョブ、テストスイート、ブラウザの自動操作は、いずれも人が手でクリックしたわけではないトラフィックを送ります。それこそが自動化の目的です。このガイドでは、そうした正当な自動化をプロキシ経由で安定して動かす方法を扱います。プロキシが加えてくれるもの、IPよりも重要な5つのルール、サイトがCAPTCHAで応答したときの対応、そしてチャレンジを検出して、押し切らずにきれいに停止するPythonの例です。サイトのルールを回避するための記事ではなく、そのための役にも立ちません。
プロキシが自動化にできること、できないこと
役に立つこと:
- 場所:シンガポールの訪問者に見えるページを見る、またはシンガポールのモバイルネットワークからテストする。
- 分離:実在するアカウントやジョブごとに専用のアドレスを持たせ、あるセッションの活動が別のセッションと混ざらないようにする。
- より良いスタート地点:モバイルIPは、データセンターIPよりも、見つかり次第印を付けられる可能性が低く、あなた自身の挙動が評価される前に受けるチャレンジが減ります。クリーンなプロキシとCAPTCHA を参照してください。
役に立たないこと:
- 許可:サイトが自動化を禁止しているなら、プロキシを使っても、あなたのスクリプトが許可されるわけではありません。
- 挙動:速度、繰り返し、自動化されたように見えるブラウザは、IPとは別に読み取られます。
- CAPTCHAとチャレンジ:チェックされるのはアドレスだけでなく訪問そのものです。当社は、それらを打ち破る手段としてプロキシを販売していません。
ボットとは何か、どの種類が歓迎されるかの概要は、ボッティングとは にあります。
IPよりも重要な5つのルール
- 1つのIPとセッションにつき、1つのID:Cookie、User-Agent、アカウントは、最初に使ったIPとセットで管理します。1つのアドレスで多数のアカウントを同時に動かさず、1つのアカウントを無作為にアドレス間で移動させることもしないでください。
- 人間のペースに、ゆらぎを加える:ページ間に数秒の間隔を置き、ランダムなばらつきを持たせ、並列接続は少なくします。固定の間隔はそれ自体がシグナルになります。詳しくは ブロックされずにスクレイピングする方法 を参照してください。
- 言われたら引く:429が返ったら
Retry-Afterの時間だけ待ち、そのあと速度を落とします。短い間隔のループで再試行しないでください。ステータスコードは スクレイピングで出る403・429・503エラー で解説しています。 - 自分を名乗り、キャッシュする:必要に応じて、連絡先を添えたわかりやすいUser-Agentを使い、変更のないページを再ダウンロードしないでください。
- サイトが「ノー」と言ったら止める:繰り返されるチャレンジ、ブロックページ、停止の要求は、サイトの決定です。尊重してください。次のセクションを参照してください。
チャレンジが出たら、止めて読み取る
| 受け取ったもの | 通常の意味 | すべきこと |
|---|---|---|
| 429 Too Many Requests | 速すぎる | Retry-Afterまで待ち、もっと遅く実行する |
| 最初のリクエストで403。同じネットワークのブラウザは入れる | プログラムにブラウザが送る情報が足りないか、IPの種類が拒否されている | ヘッダーを確認し、手作業でIPをテストする。よくあるプロキシのエラー を参照 |
| 「人間であることを確認しています」ページ | サイトがブラウザのチェックを求めている | サイトが自動化そのものを許可しているなら、実際のブラウザを人間のペースで使う |
| 時々1回だけCAPTCHAが出る | 訪問がグレーゾーンにある | 速度を落とし、セッションの一貫性を保ち、IPを確認する |
| CAPTCHAが続けざまに出る | サイトがこのトラフィックを望んでいない | 実行を止める。代わりに、APIや許可を求める |
解決策のように見えて、そうではないことが2つあります。
- IPをローテーションして、同じ速度で続ける:新しいアドレスでも、サイトは同じペースを目にします。ローテーションは制限されたIPのためのものであって、チャレンジを無視する方法ではありません。
- CAPTCHA解決サービスを使う:チェックの目的そのものを無効にし、ほとんどのサイトの利用規約に違反し、法的リスクも高めます。当社はお勧めしません。越えてはいけない一線を参照してください。
スクリプトではなく、ループに引っかかっているのが人間の場合は、手順を CAPTCHAが何度も出る・ループする場合の8つの対処法 で説明しています。
例:チャレンジが出たら止まる、礼儀正しいフェッチャー
このPythonのスケッチは、人間のペースでプロキシ経由でページを読み込み、Retry-Afterを尊重し、チャレンジが出た瞬間に実行全体を停止します。プロキシの情報は環境変数から取得します。コードには絶対に書き込まないでください。
import os
import random
import time
import requests
PROXY = os.environ["PROXY"] # http://USER:PASS@HOST:PORT
HEADERS = {"User-Agent": "my-price-checker/1.0 (contact: [email protected])"}
MAX_TRIES = 3
class Challenged(Exception):
"""The site asked for a human. Stop the run; don't try to solve it."""
def looks_like_challenge(resp):
# Cloudflare marks challenge responses with this header; other vendors differ.
if resp.headers.get("cf-mitigated") == "challenge":
return True
body = resp.text[:20000].lower()
return any(word in body for word in ("captcha", "verify you are human", "unusual traffic"))
def retry_after(resp, default=60):
value = resp.headers.get("Retry-After", "")
return int(value) if value.isdigit() else default
def polite_get(session, url):
for attempt in range(1, MAX_TRIES + 1):
resp = session.get(url, timeout=30)
if looks_like_challenge(resp):
raise Challenged(url)
if resp.status_code == 429:
time.sleep(retry_after(resp) * attempt)
continue
resp.raise_for_status()
return resp
raise RuntimeError(f"still rate limited after {MAX_TRIES} tries: {url}")
def run(urls):
session = requests.Session()
session.headers.update(HEADERS)
session.proxies = {"http": PROXY, "https": PROXY}
for url in urls:
try:
page = polite_get(session, url)
except Challenged:
print("Challenge page. Stopping the run:", url)
break
print(url, len(page.text))
time.sleep(random.uniform(3, 8)) # a human pace, with jitterスケッチの補足です。単語によるチェックは、CAPTCHAについて書かれた普通のページにも一致するため、対象に合わせてマーカーを調整してください。JavaScriptを多用するページには、requestsではなく実際のブラウザを使ってください。JavaScriptサイトのスクレイピングを参照してください。Pythonの一般的な設定は Pythonでプロキシを使う にあります。
IPを責任をもってローテーションする
4Gプロキシは、ローテーション用リンクを呼び出すことでローテーションし、65Proxyの各プロキシでは、それが5分に1回まで可能です。リクエストのたびではなく、IPが制限されたときにローテーションし、ローテーションのあとは新しいセッション(新しいCookie)を開始してください。サイトから見れば、新しい訪問者が来たばかりだからです。リンクを呼び出して新しいIPを待つコードは、APIでプロキシのIPをローテーションする方法 にあります。
必要なプロキシの数と帯域
- 同時に動くIDごとに、プロキシ1つ:存在するアカウントやジョブではなく、同時に動くものを数えてください。プロキシは何個必要か で順を追って説明しています。
- ページ容量から帯域を見積もる:典型的なページの容量に、読み込むページ数を掛けます。チャレンジされた読み込みや繰り返しの読み込みも、利用枠を消費します。測り方は 500GBはどこまで使えるか にあります。
自動化してはいけないもの
- 自分のものではないアカウントでの操作、およびあらゆる種類の偽アカウント。
- 偽のエンゲージメント、レビュー、フォロワー。理由は シーディング用プロキシ を参照してください。
- 購入制限や行列の突破。これは フラッシュセールとプロキシ が説明している内容です。
- プレイヤーの代わりに遊ぶゲームボット。
- 法的根拠のない個人データの収集。
65Proxy
65Proxyは、正当な作業向けにシンガポールの4Gモバイルプロキシを販売しています。1注文につきプロキシ1つで、専用のログイン情報とローテーション用リンクが付き、HTTPとSOCKS5に対応し、価格は1日 $4、7日 $13、1か月 $32(各200GB)、帯域幅の大きい月額プランもあります(500GB $40、1TB $65)。まずは無料トライアルで、実際の対象サイトを1時間試してください。CAPTCHA、BAN、制限を打ち破る手段としては販売していません。
よくある質問
プロキシでボットを検出されないようにできますか?
できません。プロキシが変えるのは、サイトから見えるアドレスです。ペース、ブラウザのシグナル、挙動は別に読み取られ、サイトはいつでもどの訪問者にもチャレンジを出せます。
1分あたり何リクエストなら安全ですか?
万能な数字はありません。数秒に1リクエストから始め、429やチャレンジの割合を観察し、それが出たら速度を落としてください。ドキュメントやAPIの利用規約で上限を示しているサイトもあります。その場合はそれに従ってください。
リクエストごとにIPをローテーションすべきですか?
いいえ。セッションが壊れ、不自然に見え、各プロキシには5分のローテーション制限があるため、そもそも不可能です。IPが制限されたときにローテーションしてください。
スクリプトがCAPTCHAに遭遇したらどうすべきですか?
止めて、記録し、通知が届くようにしてください。そのあとで、ペースを確認し、APIを探すか、アクセスの許可を求めてください。上の例がその形を示しています。
PlaywrightやSeleniumでもプロキシを使えますか?
はい。どちらもユーザー名とパスワード付きのプロキシを指定できます。PlaywrightとPuppeteerの設定は APIでプロキシのIPをローテーションする方法 にあります。ペースとチャレンジのルールは、同じように当てはまります。