Dùng proxy trong Python: requests, httpx, aiohttp với HTTP, SOCKS5 và tài khoản mật khẩu
Trong bài này
Python có ba thư viện HTTP phổ biến (requests, httpx và aiohttp), và mỗi thư viện khai báo proxy theo một kiểu hơi khác nhau. Bài này có code mẫu chạy được cho cả ba, với proxy HTTP và SOCKS5 có tài khoản, mật khẩu, cùng các lỗi hay gặp. Mọi ví dụ đọc thông tin proxy từ biến môi trường PROXY dạng http://USER:PASS@HOST:PORT, để mật khẩu không nằm trong code.
requests
Thư viện quen thuộc nhất. Truyền proxy qua tham số proxies, và dùng Session để tái sử dụng kết nối:
import os
import requests
PROXY = os.environ["PROXY"] # http://USER:PASS@HOST:PORT
session = requests.Session()
session.proxies = {"http": PROXY, "https": PROXY}
resp = session.get("https://api.ipify.org", timeout=30)
print("IP qua proxy:", resp.text)Lưu ý: khoá "https" trong proxies là loại trang bạn truy cập, còn giá trị vẫn bắt đầu bằng http:// vì đó là cách nói chuyện với proxy.
SOCKS5 với requests
Cài thêm hỗ trợ SOCKS bằng pip install "requests[socks]", rồi dùng tiền tố socks5h để proxy phân giải tên miền:
PROXY = "socks5h://USER:PASS@HOST:PORT"
session.proxies = {"http": PROXY, "https": PROXY}httpx
httpx có cả kiểu đồng bộ lẫn bất đồng bộ. Ở các phiên bản mới, proxy truyền qua tham số proxy:
import os
import httpx
with httpx.Client(proxy=os.environ["PROXY"], timeout=30) as client:
resp = client.get("https://api.ipify.org")
print("IP qua proxy:", resp.text)Bản bất đồng bộ:
import asyncio
import os
import httpx
async def main():
async with httpx.AsyncClient(proxy=os.environ["PROXY"], timeout=30) as client:
resp = await client.get("https://api.ipify.org")
print("IP qua proxy:", resp.text)
asyncio.run(main())Với SOCKS5, cài pip install "httpx[socks]" rồi dùng địa chỉ socks5://USER:PASS@HOST:PORT. Nếu bản httpx cũ của bạn báo lỗi với proxy=, hãy nâng cấp httpx: các bản cũ dùng tên tham số khác.
aiohttp
aiohttp nhận proxy cho từng request qua tham số proxy, và chỉ hỗ trợ proxy HTTP:
import asyncio
import os
import aiohttp
PROXY = os.environ["PROXY"] # http://USER:PASS@HOST:PORT
async def main():
timeout = aiohttp.ClientTimeout(total=30)
async with aiohttp.ClientSession(timeout=timeout) as session:
async with session.get("https://api.ipify.org", proxy=PROXY) as resp:
print("IP qua proxy:", await resp.text())
asyncio.run(main())Muốn dùng SOCKS5 với aiohttp, cài thư viện aiohttp-socks và tạo session với connector của nó. Muốn aiohttp đọc biến môi trường HTTPS_PROXY, tạo session với trust_env=True.
Mật khẩu có ký tự đặc biệt
Nếu tài khoản hoặc mật khẩu có @, :, / hay #, phải mã hoá trước khi ghép vào địa chỉ proxy:
import os
from urllib.parse import quote
user = quote(os.environ["PROXY_USER"], safe="")
password = quote(os.environ["PROXY_PASS"], safe="")
PROXY = "http://" + user + ":" + password + "@HOST:PORT"Không mã hoá, thư viện sẽ tách sai địa chỉ và bạn nhận lỗi 407 hoặc lỗi kết nối khó hiểu.
Biến môi trường
requests và httpx tự đọc HTTP_PROXY, HTTPS_PROXY, NO_PROXY nếu bạn không truyền proxy trong code:
export HTTPS_PROXY="http://USER:PASS@HOST:PORT"
python script.pyTiện cho script nhỏ, nhưng dễ quên: một biến môi trường còn sót lại có thể khiến chương trình khác cũng đi qua proxy. Với dự án thật, khai báo proxy rõ ràng trong code dễ kiểm soát hơn.
Lỗi hay gặp
- 407 Proxy Authentication Required: sai tài khoản, mật khẩu, hoặc quên mã hoá ký tự đặc biệt.
ProxyError/ không kết nối được: sai host, cổng, hoặc dùng địa chỉ SOCKS5 khi thư viện chưa cài hỗ trợ SOCKS.Missing dependencies for SOCKS support: requests chưa càirequests[socks].- Lỗi vài giây ngay sau khi đổi IP: thiết bị 4G đang kết nối lại; thử lại sau ít giây.
- IP vẫn là IP nhà bạn: proxy chưa được truyền vào đúng session, hoặc
NO_PROXYđang loại trừ tên miền đó.
Danh sách lỗi đầy đủ có trong bài các lỗi proxy thường gặp; xử lý 403, 429 khi scrape có trong bài lỗi 403, 429, 503 khi scrape.
Đổi IP từ Python
Với proxy 4G, đổi IP là gọi link đổi IP (không qua proxy) rồi chờ tới khi IP mới xuất hiện. Code đầy đủ có trong bài đổi IP proxy bằng API. Với Scrapy, xem dùng proxy với Scrapy.
Proxy 65Proxy trong Python
Proxy 4G của chúng tôi có HTTP và SOCKS5 với tài khoản, mật khẩu, chạy được với cả ba thư viện ở trên. IP nhà mạng di động Singapore, proxy riêng không share, đổi IP bằng link hoặc API (tối đa một lần mỗi 5 phút), giá 1 ngày $4, 7 ngày $13, 1 tháng $32 (mỗi gói 200GB), cùng các gói tháng nhiều băng thông hơn (500GB $40, 1TB $65). Xem bảng giá.
Câu hỏi thường gặp
Nên dùng requests, httpx hay aiohttp?
requests cho script đơn giản; httpx khi bạn muốn cả đồng bộ lẫn bất đồng bộ với cùng một cách viết; aiohttp khi bạn đã dùng hệ sinh thái asyncio. Cả ba đều dùng tốt với proxy.
Có cần tạo session mới sau khi đổi IP không?
Nên. Một session mới đảm bảo không còn kết nối cũ mở qua IP trước, và cookie không mang từ phiên cũ sang phiên mới.
Gửi nhiều request song song qua một proxy 4G được không?
Được, nhưng mọi request đi ra cùng một IP. Hãy giữ số kết nối song song ở mức vừa phải để không bị giới hạn. Xem cách scrape mà không bị chặn.