クリーンなプロキシとCAPTCHA:IPの評判がチャレンジの回数を決める仕組み
この記事の内容
クリーンなプロキシが重要なのは、すぐに実感できる1つの理由によります。訪問がサイトのリスクスケールのどこからスタートするかを決めるからです。高い位置から始まれば、ほとんどのページはチャレンジなしで読み込まれます。低い位置から始まれば、何もしないうちからCAPTCHA、確認ページ、ブロックに出くわします。このガイドでは、サイトがIPをスコアに変える仕組み、主なプロキシの種類をスタート地点として比べるとどうなるか、クリーンなIPでもできないこと、そして販売業者の宣伝を鵜呑みにせずに自分でチャレンジ率を測る方法を説明します。
結論から
- IPがクリーンなほど、スタート時のスコアが良くなります。そのため、IPの評判を使うサイトではCAPTCHAが減り、完全なブロックも減ります。
- スタート地点であって、通行証ではありません。そこから先は、ペース、ブラウザ、挙動でスコアが動き、サイトは誰に対してもチャレンジを出せます。
- 「クリーン」は「一度もチャレンジされない」という約束ではありません。クリーンとは何か、そしてなぜ誠実な販売業者には保証できないのかは、クリーンなプロキシとブラックリスト にあります。このガイドは、その違いがCAPTCHAの発生率にどう影響するかを扱います。
サイトがIPをリスクスコアに変える仕組み
アンチボットやCAPTCHAのシステムは、IPを複数の観点から同時に判断します。計算式は公開されていませんが、広く文書化されていて観察できる要素は次のとおりです。
- ネットワークの種類:ホスティング事業者のサーバー用レンジにあるアドレスは、データセンターIPとして印を付けられます。家庭用ブロードバンドやモバイルキャリアのアドレスは、そうではありません。
- 履歴:最近スパムを送った、ログインの試行を行った、大量にスクレイピングされたIPは悪い記録を蓄積し、そうしたIPの共有リストは広く出回っています。
- 現在のリクエスト量:短時間に1つのアドレスから多数のリクエストが来ることは、背後にいるのが誰であっても強いシグナルです。
- 何人で共有しているか:混雑した共有アドレスでは、サイトは多数のユーザーの合算トラフィックを見ることになります。
- 一貫性:アドレスの国がブラウザの言語やタイムゾーンと合っているほうが、合っていないものより普通に見えます。
「汚れた」IPとは、このうち1つ目、2つ目、または3つ目で悪いスコアが付くものです。システムは最初のリクエストでスコア化するため、あなた自身の挙動が意味を持つ前に、すでに影響が出てしまいます。
4種類のIP、4つのスタート地点
これは定性的なガイドであり、ベンチマークではありません。個々のIPやサイトによって大きく異なります。
| IPの種類 | サイトが一般的にどう扱うか | 典型的な結果 |
|---|---|---|
| 公開リストの無料プロキシ | 見知らぬ人が共有し、ひどく悪用され、ブロックリストに載っていることも多い | 早い段階でチャレンジやブロックを受け、最初のリクエストで起こることも多い |
| データセンタープロキシ | サーバー用のレンジとして識別される | 多くのサイトが見つけ次第チャレンジまたはブロックする |
| 住宅用プロキシ | 家庭の回線のように見えるが、プールの質は大きく異なる | 通常はより良いが、プール次第 |
| 4Gモバイルプロキシ | 普通のスマートフォン契約者のように見え、キャリアを通じて共有される | 通常の閲覧中は最もチャレンジされにくい部類だが、保証はない |
各行の理由と、どれを選ぶべきかは、4G・住宅用・データセンタープロキシの比較 にあります。
クリーンなIPでも直らないこと
- 速度:どれほどクリーンなIPでも、リクエストを一気に送れば制限されます。
- ブラウザ:自動化されたように見えるフィンガープリント、ブロックされたCookie、ページのコードを実行しないスクリプトは、IPとは別にスコアを押し上げます。
- 挙動:一瞬でのクリック、同じ経路、間がまったくない動き。
- アカウント単位のルール:1つのIPに多数のアカウントがある、新しい場所からログインした、といったことは、IPではなくアカウントで判断されます。
- サイトの設定:ある国の訪問者全員、あるいは特定の時間帯の訪問者全員に、どのIPを使っていてもチャレンジを出すサイトもあります。
そのため、クリーンなIPでもCAPTCHAが出る場合は、IPではなく環境を変えてください。対処法は CAPTCHAが何度も表示される・ループする場合の8つの対処法 にあります。
自分でチャレンジ率を測る
販売業者の「成功率99%」という数字は、ほとんど参考になりません。成功するかどうかは対象サイトによって決まるからです。実際に使うサイトで測りましょう。
- 対象ページ1つと、通常のタスク1つを選びます。たとえば、人間のペースで商品ページを50ページ読み込むなどです。
- 結果を数えます:正常に読み込まれたページ、CAPTCHAや「確認」画面が出たページ、エラー(403、429、503)です。
- チャレンジ率を計算します:チャレンジされたページ数を、全ページ数で割ります。一定のペースでほぼゼロなら良い兆候です。進むにつれて増えるなら、ペースかIPが問題です。
- 一度に1つずつ変えて(まずペース、次にIP)繰り返します。どちらが効いたのかがわかります。
- 別の時間帯にも繰り返します。評判もサイトの設定も変動するためです。
1時間の無料トライアルは、まさにこのテストのためにあります。1か月分を払う前に、実際の対象サイトで実行してください。返ってくるステータスコードの読み方は、スクレイピングで出る403・429・503エラー を参照してください。
使いながらIPをクリーンに保つ
クリーンなIPが役に立ち続けるのは、あなた自身の使い方がそれを汚さない場合だけです。
- 1つのIPとセッションにつき、1つのID:1つのアドレスで多数のアカウントを同時に動かさないでください。
- 一定で控えめなペース:ランダムな間隔を空け、サイトから「速度を落とせ」と言われたら引いてください。
- 理由があってローテーションする:IPが制限されたときにローテーションし、リクエストのたびには行いません。65Proxyの各プロキシは、5分に1回までローテーションできます。
- サイトに求められたら止める:CAPTCHAが繰り返し出るのは、サイトが「ノー」と言っているということです。自動化がCAPTCHAに遭遇したときの対処 を参照してください。
65ProxyのシンガポールのIP
当社のIPは、シンガポールのモバイルキャリアのアドレスです。1注文につきプロキシ1つで、専用のログイン情報とローテーション用リンクが付き、価格は1日 $4、7日 $13、1か月 $32(各200GB)、帯域幅の大きい月額プランもあります(500GB $40、1TB $65)。シンガポールのモバイルIPが必要な作業に向いています。CAPTCHAが一度も出ないことは約束しません。誠実な販売業者にはそれができないからです。ペース、ブラウザ、対象サイトも、IPと同じくらい重要です。料金をご覧ください。
よくある質問
クリーンなプロキシは本当にCAPTCHAが少ないですか?
IPの評判を重視するサイトでは、少なくなります。スタート時のスコアが良ければ、チャレンジが減るからです。どのくらい減るかはサイトとあなたの挙動によるため、一般的な宣伝文句よりも、自分の対象サイトで測ることのほうが価値があります。
モバイルプロキシなのにCAPTCHAが出るのはなぜですか?
モバイルIPは多くの人に共有されているため、他のユーザーの行動が一時的に影響することがあります。また、サイトがあなたのペース、ブラウザ、あるいはサイト独自の設定を理由にチャレンジを出すこともあります。IPが制限されているようならローテーションし、速度を落とし、環境を確認してください。
住宅用プロキシはモバイルよりクリーンですか?
決まりはありません。どちらも良い場合があり、品質はプロバイダーやプールによって異なります。どちらも、導入を決める前に対象サイトでテストしてください。
IPがブロックリストに載っているかどうかは、どう確認しますか?
IPレピュテーションやブロックリストのチェッカーでアドレスを調べ、そのネットワークが想定した種類かどうかを確認してから、実際のサイトでテストします。手順は プロキシのチェック方法 にあります。1つのリストに載っていても、すべてのサイトでCAPTCHAが出るとは限りません。逆に、どのリストでもクリーンと出ても、出ないことが保証されるわけではありません。