核心要点：
- 抓取到的代理不一定都能正常使用，您仍需对其进行测试。
- 部分代理抓取工具将抓取与代理检测功能集成在同一工具中。
- 所需功能是决定哪种代理抓取工具合适的关键因素之一。
手动查找并复制 IP 地址的过程繁琐费时，尤其是当您需要成百上千个 IP 时。代理抓取工具可自动从公开代理列表等来源收集 IP 地址和端口，从而简化这一流程。
继续阅读，了解代理抓取工具的工作原理、能为您做什么，以及它的局限性。
什么是代理抓取工具？
代理抓取工具会访问网络上的各类代理来源，提取其中的 IP 地址和端口，并在保存为文件前去除重复项。
如果您需要持续获取代理用于数据抓取，又不想手动访问数十个代理列表网站逐一复制 IP 并保存，这种工具会非常实用。
以下是持续获取 IP 地址对数据抓取（尤其是大规模抓取）至关重要的几个原因：
- 目标网站可能会根据您的所在位置展示不同的数据，因此您可能需要特定位置的代理才能抓取到所需数据。
- 即使只使用单个代理，也可能出现各种故障点。保留多个可用 IP，可以在某个代理失效时，让您的抓取工具转而使用其他 IP 发送请求。
代理抓取工具可以省去您手动查找免费代理或从自定义来源收集 IP 的大部分工作。设置完成后，该工具会从指定来源收集数据，可能包括：
- 公开代理列表网站
- 包含代理信息的文本文件
- 提供免费代理列表的 API
- 持续更新代理列表的 GitHub 仓库
- 您自行提供的自定义 URL
随后，它会按照特定格式查找代理条目，将其复制，并以您选择的格式保存列表。但即便代理抓取工具找到了 5000 个代理，也不代表这 5000 个都能实际使用。
其中一些可能已经离线或拒绝连接，另一些响应速度过慢，或不支持您所需的协议。
因此，如果您所用的工具不自带代理检测功能，就应该搭配一款代理检测工具使用。该检测工具会对代理抓取工具提供的候选代理逐一进行测试。
根据工具的不同，它可能会：
- 通过代理连接到测试网站
- 检查请求是否成功
- 测量响应时间
- 测试该代理支持的协议
- 检查目标网站实际看到的 IP 地址
- 根据测试结果保留或剔除该代理
假设检测工具从最初的 5000 个代理中筛选出 300 个可用代理，您随后便可以只选取特定位置的代理、按照一定顺序轮换这些代理，或者控制请求在这些代理之间的分配方式。
这时就需要用到代理管理工具。它可以帮助您整理和轮换代理服务器——这些服务器在您的抓取工具与目标网站之间转发请求，同时监控它们的使用情况。
代理抓取是如何工作的？
理解代理抓取工具工作原理的最简单方式，就是把它看作一个自动收集代理地址的工具。
您只需提供发布代理列表的来源，例如免费代理列表网站或 API 数据源。抓取工具随后会访问这些来源，查找包含 IP 地址和端口的代理条目，提取出来并为您生成代理列表。如果同一个代理出现在多个来源中，该工具可以在保存列表前去除重复项。
自动化正是代理抓取工具的实用之处。您无需自己反复访问相同的来源，而是可以让抓取工具按计划定期重新访问这些来源。每次运行都能收集到新发布的代理，并更新原有列表。
选择代理抓取工具时，可以关注以下几项关键功能：
- 支持多个代理来源
- 支持添加自定义来源 URL
- 自动去除重复项
- 支持多种代理协议
- 支持定时抓取与自动刷新
- 可按国家或协议等条件筛选
- 支持导出为 TXT、CSV 或 JSON 等格式
适合数据抓取的代理抓取工具
了解了代理抓取工具的定义和工作原理后，接下来看看目前可用的一些免费和付费工具。
iw4p Proxy Scraper
iw4p Proxy Scraper 是一个免费的 Python 项目，可以帮您抓取公开代理并检测其是否仍然可用。它是基于 MIT 许可证的开源项目，您既可以通过 PyPI 以 proxyz 的名称安装，也可以直接运行其 Python 源码。
使用以下 shell 命令安装 iw4p Proxy Scraper：
pip install proxyz
该工具支持从以下预设来源抓取代理：
- sslproxies.org（HTTP、HTTPS）
- free-proxy-list.net（HTTP、HTTPS）
- us-proxy.org（HTTP、HTTPS）
- socks-proxy.net（SOCKS4、SOCKS5）
- proxyscrape.com（HTTP、SOCKS4、SOCKS5）
- proxy-list.download（HTTP、HTTPS、SOCKS4、SOCKS5）
- geonode.com（HTTP、HTTPS、SOCKS4、SOCKS5）
优点：
- 支持抓取 HTTP、HTTPS、SOCKS4 和 SOCKS5 代理
- 可同时从多个来源抓取
- 自动去除重复结果
- 附带独立的代理检测工具
缺点：
- 不支持内置定时任务
- 没有图形界面
- 不支持自定义代理来源
- monosans proxy-scraper-checker
monosans proxy-scraper-checker
这款monosans proxy-scraper-checker 是一款免费开源工具，专为抓取和验证代理而设计。
该工具使用 Rust 编写，基于 MIT 许可证发布。您可以用它从预设来源和自行添加的自定义来源中收集 HTTP、SOCKS4 和 SOCKS5 代理。
安装时，请下载适用于您操作系统的预编译压缩包，将其解压到文件夹中，编辑 config.toml 文件，然后运行可执行文件。
优点：
- 支持自定义及需要身份验证的代理来源
- 内置代理检测功能
- 提供响应时间、出口 IP、ASN 及位置信息
- 支持 Windows、Linux、macOS 和 Android
缺点：
- 没有图形界面
- 需要一定的手动配置
- 不支持内置定时任务
- GSA Proxy Scraper
GSA Proxy Scraper
GSA Proxy Scraper 是一款付费的 Windows 桌面应用程序，用于查找和管理代理。它维护一份用于抓取代理的来源列表，并支持您对可用结果进行测试、筛选、复测、导出和轮换。
与上述免费代理抓取工具不同，GSA 还支持定时抓取和测试，您可以按位置、代理类型、端口等条件筛选代理。
安装时，请从 GSA 官网下载 Windows 安装程序并运行安装文件。
优点：
- 内置代理检测功能
- 支持定时抓取和测试
- 支持添加自定义代理来源
- 内置本地轮换代理服务器
缺点：
- 仅支持 Windows
- 付费工具
- 不适合只需要基础代理抓取功能的用户
ProxyGather
ProxyGather 是一款免费开源的 Python 代理抓取与检测工具。它会收集公开列出的代理，并分别为 HTTP、SOCKS4 和 SOCKS5 保存可用列表。该项目发布的代理列表通过 GitHub Actions 每 30 分钟刷新一次。
ProxyGather 支持多个来源，包括 ProxyScrape、ProxyDB、ProxyNova 等。您也可以通过编辑其配置文件添加自己的 URL。
安装时，请克隆 GitHub 仓库并安装所需依赖包：
git clone https://github.com/Skillter/ProxyGather.git
cd ProxyGather
pip install -r requirements.txt
然后执行：
python ProxyGather.py run
您可以分别执行抓取和检测代理，也可以使用统一模式，在抓取的同时检测代理。
优点：
- 支持 HTTP、SOCKS4 和 SOCKS5
- 内置代理检测工具
- 支持添加自定义代理来源
- 可同时从多个来源抓取
- 发布的可用代理列表每 30 分钟刷新一次
缺点：
- 没有图形界面
- 本地安装版本不含内置定时任务功能
Proxy Buddy
Proxy Buddy 是一款付费的 Windows 桌面应用程序，可用于抓取公开代理、进行测试和筛选，并更新代理列表，还支持将这些任务设置为自动重复执行。
该代理抓取工具内置代理检测功能，可测量代理的响应速度、识别所在国家、检测匿名级别等信息，甚至可以测试该代理能否用于执行 Google 搜索。
安装时，请先购买软件，再通过客户账户中的链接下载 Windows 应用程序。
优点：
- 内置定时任务功能
- 自动运行模式可自动抓取并测试代理
- 内置代理检测功能
- 支持 HTTP、HTTPS、SOCKS4 和 SOCKS5
- 支持添加自定义代理来源
- 提供图形界面
缺点：
- 付费工具
- 仅支持 Windows
- 不适合只需要基础代理抓取功能的用户
- 仍然依赖公开代理
如何使用代理抓取工具（分步指南）
- 第一步：选择工具
您可以选择免费或付费工具。许多免费代理抓取工具是命令行工具，而付费工具通常带有图形界面。选择前请先比较各工具的功能。
- 第二步：输入代理来源
根据所选工具的不同，您可以使用其预设的代理来源，也可以添加自己的自定义 URL。
- 第三步：开始抓取并筛选结果
运行代理抓取工具以收集代理地址，如果工具支持，还可以根据需要筛选结果。
- 第四步：测试代理
使用内置的代理检测工具测试代理是否可用。如果所用工具不含此功能，您可以使用独立的代理检测工具。
- 第五步：导出并使用代理
完成筛选和测试后，导出代理列表，并在您的数据抓取工具或脚本中配置使用这些代理。
如何选择合适的代理抓取工具
适合您工作流程的代理抓取工具应满足您的大部分甚至全部需求，选择时请注意以下几个因素：
- 代理新鲜度
请确认该工具是否支持定时抓取或自动刷新。如果不支持，您就需要自行重新运行，或借助外部调度工具。
- 是否支持代理检测
请确认该抓取工具本身是否会测试代理可用性，还是需要您另外使用检测工具。
- 来源灵活性
选择既支持预设来源、也支持自定义来源的抓取工具，这样您就能添加工具本身未收录的网址。
- 筛选功能
如果您需要特定国家和地区、特定协议或特定速度范围的代理，请确认该抓取工具是否支持这些筛选条件。
- 免费方案与付费方案
如果您习惯通过命令行抓取代理，可以选择免费方案；付费方案则提供更多进阶功能，例如定时任务、图形界面和客服支持。
免费代理与付费代理
同样值得注意的是，通过代理抓取工具获取的免费代理往往存在安全隐患，且相比付费的独享代理，速度更慢、稳定性更差。您可以考虑以下付费方案：
- 住宅代理凭借较高的匿名性和较低的封禁概率，常被视为适合数据抓取的选择。在抓取敏感网站、绕过地理限制或降低 IP 被封风险时，可使用住宅代理。
- 数据中心代理来自数据中心，通常比其他类型的代理速度更快、价格更实惠。
- 移动代理使用分配给移动设备的 IP 地址，适合抓取移动端专属内容。
- 独享代理在同一时间仅由一位用户使用，适合追求更高速度和更稳定连接的场景。
- 共享代理由多位用户共用，价格更实惠，但稳定性相对较差。
- SOCKS5 代理支持各类流量，在多种协议下都能提供更出色的性能和安全性。
结语
总的来说，代理抓取工具会自动从公开列表和自定义来源收集代理地址，还可以对收集到的代理进行筛选和测试，再导出为文件供各类任务使用。
您可以根据自身需求的功能以及对命令行工具的熟悉程度，选择免费或付费的抓取工具。想了解更多代理使用技巧，欢迎加入我们的Discord 频道。
