Proxy cho scrape quy mô lớn, nhiều quốc gia: chọn loại proxy, thiết kế hệ thống và tính chi phí cho đúng
Trong bài này
Khi việc thu thập dữ liệu vượt qua vài nghìn trang mỗi ngày trên một trang web, và bắt đầu trải ra hàng trăm nghìn trang ở nhiều nước, câu hỏi không còn là "mua proxy nào" mà là "thiết kế hệ thống thế nào để chi phí và tỉ lệ thành công hợp lý". Bài này dành cho quy mô đó. Nói trước: proxy 4G Singapore của 65Proxy chỉ hợp với một phần nhỏ của bài toán này. Chúng tôi sẽ chỉ rõ phần nào.
Trước hết: có cách nào không cần scrape không?
Ở quy mô lớn, câu hỏi này đáng tiền nhất:
- API chính thức hoặc API trả phí của nguồn dữ liệu.
- Bộ dữ liệu được cấp phép từ nhà cung cấp dữ liệu.
- Thoả thuận trực tiếp với chủ trang: nhiều nơi bán file xuất dữ liệu.
Chi phí proxy, máy chủ và công sức bảo trì scraper thường vượt xa giá mua dữ liệu sạch. Xem thêm scrape dữ liệu có hợp pháp không.
Kết hợp nhiều loại proxy
Ở quy mô lớn, không loại proxy nào hợp với mọi trang. Cách làm phổ biến là chia theo độ khó của trang đích:
| Nhóm trang | Đặc điểm | Proxy hợp |
|---|---|---|
| Trang dễ (không chặn máy chủ) | Phần lớn trang thông tin, API công khai | Datacenter (rẻ, nhanh) |
| Trang vừa (chặn dải máy chủ) | Sàn, trang so sánh giá | Dân cư xoay theo request |
| Trang khó, soi kỹ IP | Mạng xã hội công khai, trang chống bot mạnh | Mobile, số lượng nhỏ |
| Nội dung theo quốc gia | Giá, kết quả tìm kiếm từng nước | Proxy đúng quốc gia đó |
Chi tiết từng loại: proxy datacenter, proxy dân cư, proxy 4G.
Thiết kế hệ thống
Những thành phần một hệ thống scrape lớn cần có:
- Hàng đợi URL: tách việc "cần lấy gì" khỏi việc "lấy thế nào", cho phép thử lại và ưu tiên.
- Giới hạn tốc độ theo từng tên miền, không phải theo từng proxy. Thêm proxy không cho phép bạn đè nặng hơn lên một trang.
- Bộ định tuyến proxy: chọn loại proxy theo nhóm trang, ghi lại tỉ lệ thành công của từng nhóm.
- Thử lại có lùi dần và tôn trọng
Retry-After. Xem lỗi 403, 429, 503 khi scrape. - Bộ đệm và lấy theo thay đổi:
ETag,If-Modified-Since, sitemap để chỉ lấy trang mới. - Giám sát: tỉ lệ thành công, mã lỗi, độ trễ, chi phí theo từng tên miền.
Tính chi phí cho đúng
Đừng so giá proxy theo GB hay theo IP. Hãy tính chi phí cho mỗi trang lấy thành công:
- tổng chi phí proxy + máy chủ + công sức,
- chia cho số trang lấy thành công (sau khi trừ lỗi, thử lại, trang bị chặn).
Proxy rẻ mà tỉ lệ thành công thấp thường đắt hơn proxy đắt mà tỉ lệ cao. Và với proxy tính theo GB, chặn ảnh, phông chữ, video là cách tiết kiệm nhanh nhất. Xem scrape trang JavaScript.
Những ranh giới không thay đổi theo quy mô
- Tôn trọng robots.txt và điều khoản của từng trang.
- Không thu thập dữ liệu cá nhân nếu không có cơ sở pháp lý.
- Không vượt CAPTCHA hay lách lệnh chặn: quy mô lớn làm rủi ro pháp lý lớn hơn, không nhỏ hơn. Xem scrape website có chống bot.
- Không gây quá tải: tổng tốc độ của mọi proxy lên một trang vẫn là tốc độ của bạn.
65Proxy hợp với phần nào
Nói thẳng: một hệ thống scrape lớn, nhiều nước không nên dựa vào proxy 4G của 65Proxy. Chúng tôi chỉ có IP Singapore, mỗi proxy một IP tại một thời điểm, đổi tối đa 5 phút một lần. Phần chúng tôi hợp là nhóm nhỏ trang Singapore soi kỹ IP (nơi IP datacenter và nhiều IP dân cư bị chặn) với tốc độ có chừng mực. Giá 1 ngày $4, 7 ngày $13, 1 tháng $32 (mỗi gói 200GB), cùng các gói tháng nhiều băng thông hơn (500GB $40, 1TB $65); bài proxy 4G 500GB chỉ cách chọn cỡ gói. Phần còn lại, hãy dùng proxy dân cư xoay và datacenter của các nhà cung cấp chuyên về quy mô lớn.
Câu hỏi thường gặp
Bao nhiêu IP là đủ cho một triệu trang mỗi ngày?
Tuỳ số tên miền và tốc độ lịch sự cho từng tên miền. Một triệu trang trải trên hàng nghìn tên miền khác với một triệu trang trên một tên miền. Trường hợp sau gần như chắc chắn cần API hoặc thoả thuận với chủ trang. Cách tính cơ bản có trong bài cần bao nhiêu proxy.
Proxy dân cư xoay theo request có luôn tốt hơn không?
Không. Với trang cần giữ phiên (giỏ hàng, phân trang có cookie), IP đổi mỗi request làm hỏng phiên. Hãy dùng phiên dính (sticky) cho những luồng đó.
Có nên tự dựng proxy bằng máy chủ đám mây không?
Được cho trang không chặn máy chủ: rẻ và kiểm soát được. Nhưng IP đám mây là IP datacenter, nên với trang khó bạn vẫn cần proxy dân cư hoặc mobile.