汚れたプロキシの本当のコスト:CAPTCHA、再試行、帯域の浪費、アカウントのリスク
この記事の内容
汚れたプロキシは、料金ページでは掘り出し物に見えます。同じ「プロキシ」という言葉で、価格は何分の一。しかし請求書は後から届きます。CAPTCHA、再試行、無駄になった帯域、不正確なデータ、審査を受けるアカウントという形で。このガイドでは、値札には表れない5つのコストを挙げ、例を使って計算を示し、1か月分の契約を決める前に実行できる10分間のテストを紹介します。
実際に「汚れている」とはどういうことか
汚れたプロキシとは、IPアドレスが、あなたが使うサイトからの評価で悪いスコアを受けるプロキシのことです。サイトが警戒するサーバー用のレンジにある、悪用リストに載っている、問題のある人と共有されている、あるいはそのすべてです。これは、価格や販売業者の説明からはわからず、サイトがそのIPをどう扱うかでしかわかりません。IPがクリーンになるか汚れるかを決める要因は クリーンなプロキシとブラックリスト で、それがチャレンジにどうつながるかは クリーンなプロキシとCAPTCHA で説明しています。
値札に表れない5つのコスト
- 1. あなたの時間:CAPTCHA、確認ページ、ブロックのたびに、作業は止まるか失敗します。それを見張り、ローテーションし、再実行し、仕事がまだ終わっていない理由をクライアントに説明する人が必要です。
- 2. 帯域:チャレンジされたリクエストはやり直す必要があり、チャレンジページ自体がスクリプトや画像を読み込むことも多く、そのすべてがプロキシを経由します。月間の利用枠があるプランでは、使えないページに利用枠を消費することになります。
- 3. 不正確なデータ:CAPTCHAページを認識できないスクレイパーは、それを商品ページであるかのように保存してしまうことがあります。その結果、空や誤りの行だらけのデータセットができ、後になって気づくことになります。はっきりしたエラーよりも悪い結果です。
- 4. アカウントのリスク:サイトが信用しないIPからアカウントにサインインすると、追加の認証、一時的なロック、審査が発生することがあります。そのアカウントがクライアントのものや自分のショップのものなら、それは現実のコストです。
- 5. セキュリティ:無料や素性の知れないプロキシは、暗号化されていない通信を読み取り、HTTPの場合は書き換えることもできます。有料であっても汚れたプロキシは、販売業者の姿勢についても何かを物語っています。リスクについては 無料プロキシと有料プロキシの違い と プロキシのセキュリティ を参照してください。
計算例
以下の数字は、計算方法の例示であり、特定のプロバイダーのベンチマークではありません。10,000ページを読み込む必要があり、各ページの容量は約2 MBで、チャレンジされた読み込みはすべてやり直しになるとします。簡単にするため、チャレンジページ自体の容量は無視します。
| クリーンなIP | 汚れたIP | |
|---|---|---|
| チャレンジされる読み込みの割合 | 2% | 30% |
| 正常なページを10,000得るのに必要な読み込み回数 | 約10,200 | 約14,300 |
| 使用する帯域(1ページ2 MB) | 約20.4 GB | 約28.6 GB |
| 理想の20 GBに対する超過分 | 約2% | 約43% |
式は単純です。必要な読み込み回数 = 欲しい正常ページ数 ÷(1からチャレンジの割合を引いた値)。したがって、チャレンジ率30%は、2%の場合に比べて、帯域と時間をおよそ40%余計に消費します。実際にはこれに、さらに状況を悪化させる2つの要因が加わります。すぐに再試行するとチャレンジ率がさらに上がりやすいこと、そしてチャレンジページの読み込みも無料ではないことです。ページ容量とチャレンジ率は、ご自身で実測した値を使ってください。測り方は、関連ガイドにあります。
月額ではなく、正常な1ページあたりの価格
2つのプロキシを比較するときに役立つのは、成功したページ1つあたりのコストです。
正常な1ページあたりのコスト =(プランの価格)÷(利用枠の範囲内で正しく読み込めたページ数)
使えるページが60%しか届かない安いプロキシは、95%届く高いプロキシよりも、正常な1ページあたりでは高くつくことがあります。汚れた側に自分の時間を加えると、差はさらに広がります。月間の利用枠(たとえば基本プランの200GB)は、使えるかどうかに関係なく、読み込みのたびに消費されることも忘れないでください。
購入前に汚れたプロキシを見抜く方法
10分あれば、ほとんどの問題は見つけられます。
- IPとそのネットワークを確認します。国を確認し、モバイルや住宅用として売られたのであれば、そのネットワークがそのとおりの種類かを確認します。本物の4Gプロキシと偽物の見分け方 で方法を紹介しています。
- IPレピュテーションやブロックリストのチェッカーで、アドレスを調べます。1件の掲載だけで結論は出せませんが、複数あれば要注意です。
- 実際の対象サイトを、プロキシ経由で手動で読み込みます。最初の読み込みで確認ページに出くわしたら、それが答えです。
- 小さなテストを実行します:測定の手順に沿って、人間のペースで50ページを読み込み、チャレンジを数えます。
- 一度ローテーションして、繰り返します。プール内のどのIPも同じように振る舞うなら、問題はプールにあります。
- トライアルを使います。対象サイトでのテストを許可する販売業者は、自社のIPに自信があります。当社の1時間の無料トライアルは、そのためのものです。
IP以外も含むもっと長いリストは、プロキシを買う前のチェックリスト を参照してください。
安いプロキシで十分な場合
すべての作業にクリーンなIPが必要なわけではありません。IPの種類でフィルタリングしないサイトでの作業、たとえば自社ページやオープンAPIの取得なら、安いデータセンタープロキシが正解になることもあります。間違いは、フィルタリングする対象に使うために買い、お金を払ってからそれに気づくことです。対象に合ったプロキシを選んでください。種類の比較は 4G・住宅用・データセンタープロキシの比較 にあります。
65Proxy
当社はシンガポールの4Gモバイルプロキシを販売しています。1注文につき1つで、専用のログイン情報とローテーション用リンク(ローテーションは5分に1回まで)が付き、価格は1日 $4、7日 $13、1か月 $32(各200GB)です。帯域幅の大きい月額プランもあります(500GB $40、1TB $65)。IPが一度もチャレンジされない、あるいはリストに載らないとは主張しません。誠実な販売業者にはそれができないからです。当社にできるのは、購入前に、1時間無料で、ご自身の対象サイトで確かめる方法をご用意することです。トライアルを始める。
よくある質問
高いプロキシほどクリーンですか?
いいえ。価格はコストや位置づけに連動するもので、評判には連動しません。上のテストを使って、対象サイトがそのプロキシをどう扱うかで判断してください。
安いプロキシがすぐブロックされるのはなぜですか?
たいてい、多くの人が同じ少数のアドレスを共有していて、その一部が悪用していること、そしてそれらのアドレスが、サイトがすでに警戒しているサーバー用のレンジから来ていることが理由です。1つのIPを使う見知らぬ人が多いほど、そのIPの評判は悪くなりがちです。
汚れたIPをクリーンにできますか?
自分では無理です。評判は、あなたがコントロールできない過去のトラフィックから作られます。悪化させないようにする(控えめなペース、1つのIPにつき1つのID)ことと、別のIPに切り替えることはできます。
CAPTCHAは帯域をどれくらい無駄にしますか?
サイトとチャレンジ率によって変わるため、誠実に言える一般的な数字はありません。上の例が計算方法を示していますので、ご自身のページ容量と実測した率を当てはめてください。