Proxy cho bot và tự động hoá: một danh tính cho mỗi IP, tốc độ lịch sự, và làm gì khi gặp CAPTCHA
Trong bài này
- 01 Proxy làm được gì cho tự động hoá, và không làm được gì
- 02 Năm quy tắc quan trọng hơn cả IP
- 03 Khi gặp thử thách, hãy dừng lại và đọc nó
- 04 Ví dụ: bộ tải lịch sự biết dừng khi gặp thử thách
- 05 Đổi IP có trách nhiệm
- 06 Cần bao nhiêu proxy, bao nhiêu băng thông
- 07 Những việc không nên tự động hoá
- 08 65Proxy
- 09 Câu hỏi thường gặp
Script, tác vụ theo lịch, bộ test và trình duyệt tự động đều gửi lưu lượng mà không có người bấm tay, và đó chính là mục đích của chúng. Bài này nói về chạy loại tự động hoá hợp lệ đó qua proxy để nó ổn định: proxy bổ sung điều gì, năm quy tắc quan trọng hơn cả IP, làm gì khi trang trả về CAPTCHA, và một ví dụ Python nhận ra thử thách rồi dừng gọn thay vì cố đẩy tiếp. Bài không nói về việc lách luật của trang, và cũng sẽ không giúp bạn làm việc đó.
Proxy làm được gì cho tự động hoá, và không làm được gì
Nó giúp ở:
- Vị trí. Thấy trang như khách Singapore thấy, hoặc kiểm thử từ mạng di động Singapore.
- Tách biệt. Cho mỗi tài khoản thật hoặc mỗi công việc một địa chỉ riêng, để hoạt động của phiên này không lẫn với phiên khác.
- Điểm xuất phát tốt hơn. IP di động ít bị gắn cờ ngay hơn IP datacenter, nghĩa là ít thử thách hơn trước khi hành vi của bạn kịp được tính. Xem proxy sạch và CAPTCHA.
Nó không giúp ở:
- Quyền cho phép. Nếu trang cấm tự động hoá, proxy không biến script của bạn thành được phép.
- Hành vi. Tốc độ, sự lặp lại và trình duyệt trông tự động được đọc độc lập với IP.
- CAPTCHA và thử thách. Chúng kiểm tra lượt truy cập, không chỉ địa chỉ. Chúng tôi không bán proxy như cách để vượt chúng.
Bức tranh chung về bot là gì và loại nào được chào đón có trong bài botting là gì.
Năm quy tắc quan trọng hơn cả IP
- Một danh tính cho mỗi IP và phiên. Giữ cookie, user agent và tài khoản cùng với IP mà chúng bắt đầu. Đừng chạy nhiều tài khoản qua một địa chỉ cùng lúc, và đừng chuyển một tài khoản giữa các địa chỉ một cách ngẫu nhiên.
- Nhịp như người, có độ dao động. Vài giây giữa các trang, thay đổi ngẫu nhiên, và ít kết nối song song. Khoảng cách cố định tự nó đã là một tín hiệu. Chi tiết hơn có trong bài cách thu thập dữ liệu mà không bị chặn.
- Lùi lại khi được yêu cầu. Gặp 429 thì chờ đúng thời gian
Retry-After, rồi chạy chậm lại. Đừng thử lại trong vòng lặp dày. Các mã trạng thái được giải thích trong bài lỗi 403, 429 và 503 khi thu thập dữ liệu. - Xưng danh và lưu đệm. Dùng User-Agent rõ ràng kèm địa chỉ liên hệ khi phù hợp, và đừng tải lại trang chưa thay đổi.
- Dừng khi trang nói không. Thử thách lặp lại, trang chặn hay yêu cầu dừng là quyết định của trang. Hãy tôn trọng. Xem phần tiếp theo.
Khi gặp thử thách, hãy dừng lại và đọc nó
| Bạn nhận được | Thường có nghĩa là | Cần làm |
|---|---|---|
| 429 Too Many Requests | Bạn đang chạy quá nhanh | Chờ Retry-After, rồi chạy chậm hơn |
| 403 ngay request đầu, trong khi trình duyệt cùng mạng vào được | Chương trình thiếu thứ mà trình duyệt gửi, hoặc loại IP bị từ chối | Kiểm tra header và thử IP bằng tay; xem các lỗi proxy thường gặp |
| Trang "đang xác minh bạn là người" | Trang muốn kiểm tra trình duyệt | Dùng trình duyệt thật với nhịp như người, nếu trang có cho phép tự động hoá |
| Thỉnh thoảng một CAPTCHA | Lượt truy cập nằm ở vùng lưng chừng | Giảm tốc, giữ phiên nhất quán, kiểm tra IP |
| CAPTCHA nối tiếp CAPTCHA | Trang không muốn lưu lượng này | Dừng lần chạy. Hãy xin API hoặc quyền truy cập |
Hai việc trông như cách sửa nhưng không phải:
- Đổi IP rồi chạy tiếp với cùng tốc độ. Trang thấy cùng nhịp đó trên địa chỉ mới. Đổi IP dành cho IP đang bị giới hạn, không phải cách phớt lờ thử thách.
- Dùng dịch vụ giải CAPTCHA. Nó làm mất ý nghĩa phép kiểm tra, vi phạm điều khoản của đa số trang và tăng rủi ro pháp lý. Chúng tôi khuyên không làm; xem những ranh giới không nên vượt.
Nếu bạn là người gặp vòng lặp chứ không phải script, hướng dẫn từng bước có trong bài CAPTCHA cứ hiện hoặc lặp vô tận: 8 cách xử lý.
Ví dụ: bộ tải lịch sự biết dừng khi gặp thử thách
Đoạn Python này tải trang qua proxy của bạn với nhịp như người, tôn trọng Retry-After, và dừng toàn bộ lần chạy ngay khi thử thách xuất hiện. Thông tin proxy lấy từ biến môi trường; đừng bao giờ ghi vào mã.
import os
import random
import time
import requests
PROXY = os.environ["PROXY"] # http://USER:PASS@HOST:PORT
HEADERS = {"User-Agent": "my-price-checker/1.0 (contact: [email protected])"}
MAX_TRIES = 3
class Challenged(Exception):
"""The site asked for a human. Stop the run; don't try to solve it."""
def looks_like_challenge(resp):
# Cloudflare marks challenge responses with this header; other vendors differ.
if resp.headers.get("cf-mitigated") == "challenge":
return True
body = resp.text[:20000].lower()
return any(word in body for word in ("captcha", "verify you are human", "unusual traffic"))
def retry_after(resp, default=60):
value = resp.headers.get("Retry-After", "")
return int(value) if value.isdigit() else default
def polite_get(session, url):
for attempt in range(1, MAX_TRIES + 1):
resp = session.get(url, timeout=30)
if looks_like_challenge(resp):
raise Challenged(url)
if resp.status_code == 429:
time.sleep(retry_after(resp) * attempt)
continue
resp.raise_for_status()
return resp
raise RuntimeError(f"still rate limited after {MAX_TRIES} tries: {url}")
def run(urls):
session = requests.Session()
session.headers.update(HEADERS)
session.proxies = {"http": PROXY, "https": PROXY}
for url in urls:
try:
page = polite_get(session, url)
except Challenged:
print("Challenge page. Stopping the run:", url)
break
print(url, len(page.text))
time.sleep(random.uniform(3, 8)) # a human pace, with jitterGhi chú về đoạn mã: phép kiểm tra từ khoá cũng khớp với một trang bình thường có nhắc tới CAPTCHA, nên hãy chỉnh các từ khoá cho hợp đích của bạn. Với trang nặng JavaScript, hãy dùng trình duyệt thật thay cho requests; xem thu thập dữ liệu từ trang JavaScript. Cách thiết lập chung cho Python có trong bài dùng proxy trong Python.
Đổi IP có trách nhiệm
Proxy 4G đổi IP bằng cách gọi link đổi, và mỗi proxy 65Proxy cho phép việc đó tối đa một lần mỗi 5 phút. Hãy đổi khi một IP bị giới hạn, không đổi trước mỗi request, và bắt đầu phiên mới (cookie mới) sau mỗi lần đổi, vì trang vừa thấy một khách mới. Mã gọi link và chờ IP mới có trong bài đổi IP proxy tự động bằng API.
Cần bao nhiêu proxy, bao nhiêu băng thông
- Một proxy cho mỗi danh tính chạy đồng thời. Đếm số tài khoản hoặc việc chạy cùng lúc, không phải số đang tồn tại. Bài cần bao nhiêu proxy hướng dẫn cách tính.
- Dự trù băng thông từ kích thước trang. Nhân dung lượng một trang điển hình với số trang bạn tải. Các lần tải bị thử thách và tải lặp cũng tiêu hạn mức. Bài 500GB dùng được tới đâu chỉ cách đo.
Những việc không nên tự động hoá
- Hành động trên tài khoản không phải của bạn, hay tài khoản giả dưới mọi hình thức.
- Tương tác, đánh giá và người theo dõi giả. Xem proxy cho seeding để biết lý do.
- Lách giới hạn mua hàng và hàng đợi, điều mà bài proxy cho flash sale giải thích.
- Bot game chơi thay bạn.
- Thu thập dữ liệu cá nhân khi không có cơ sở pháp lý.
65Proxy
65Proxy bán proxy 4G di động Singapore cho công việc hợp lệ: mỗi đơn một proxy với tài khoản và link đổi IP riêng, HTTP và SOCKS5, giá 1 ngày $4, 7 ngày $13, 1 tháng $32 (mỗi gói 200GB), cùng các gói tháng nhiều băng thông hơn (500GB $40, 1TB $65). Hãy thử một giờ trên đích thật của bạn bằng bản dùng thử miễn phí trước. Chúng tôi không bán chúng như cách vượt CAPTCHA, khoá tài khoản hay giới hạn.
Câu hỏi thường gặp
Proxy có làm bot của tôi không bị phát hiện được không?
Không. Proxy chỉ đổi địa chỉ mà trang nhìn thấy. Tốc độ, tín hiệu trình duyệt và hành vi được đọc riêng, và trang có thể thử thách bất kỳ khách nào khi muốn.
Bao nhiêu request mỗi phút là an toàn?
Không có con số chung. Hãy bắt đầu với một request mỗi vài giây, theo dõi tỷ lệ 429 và thử thách, và chậm lại khi chúng xuất hiện. Một số trang nêu giới hạn trong tài liệu hoặc điều khoản API; hãy tuân theo.
Có nên đổi IP sau mỗi request không?
Không. Nó làm đứt phiên, trông thiếu tự nhiên và, với giới hạn đổi IP 5 phút của mỗi proxy, cũng không làm được. Hãy đổi khi một IP bị giới hạn.
Script của tôi nên làm gì khi gặp CAPTCHA?
Dừng, ghi log và báo cho bạn. Rồi kiểm tra tốc độ, tìm API hoặc xin quyền truy cập. Ví dụ ở trên cho thấy cấu trúc.
Tôi dùng Playwright hoặc Selenium với proxy được không?
Được. Cả hai đều nhận proxy có tên đăng nhập và mật khẩu; cách thiết lập cho Playwright và Puppeteer có trong bài đổi IP proxy tự động bằng API. Các quy tắc về tốc độ và thử thách áp dụng y như vậy.