2025年如何在 PowerShell Invoke-WebRequest 中使用代理

核心要点：

• 使用 -Proxy 和 -ProxyCredential 参数在 PowerShell 中配置代理服务器。
• 将凭据存储在环境变量或安全保险库中，避免硬编码。
• 使用数组或托管代理服务轮换代理信息，减少数据抓取时被封锁的概率。

使用 PowerShell 从网站获取数据常常会遇到各种麻烦和限制，您可能会频繁遇到封锁、限制，甚至完全无法访问，尤其是在进行大规模数据抓取时。

不过，代理可以帮助解决其中一些问题，让数据抓取更高效。本文将介绍如何在 Invoke-WebRequest 中使用代理、配置身份验证、处理SSL 问题，以及高效轮换代理。

PowerShell 中的 Invoke-WebRequest 是什么？

Invoke-WebRequest 是 PowerShell 内置的 cmdlet，用于向网页和 API 发送 HTTP 及 HTTPS 请求，也可以配置为使用代理服务器。它能返回页面内容、状态码、请求头，以及表单、链接、输入框等重要的 HTML 元素。

与会自动将 JSON 响应解析为 PowerShell 对象的 Invoke-RestMethod 不同，Invoke-WebRequest 为您提供更多控制权和灵活性，更适合用于抓取网站或分析完整的响应内容，而不只是调用 API。

如果您的项目需要其他功能，不妨浏览并对比 PowerShell 的替代工具，例如cURL 和 Wget。

为什么要在 Invoke-WebRequest 中使用代理？

在通过 PowerShell 发送网络请求时，使用代理服务器能带来多项优势，包括：

• 匿名性：隐藏您的 IP，保护身份隐私，同时避免真实 IP 地址被封禁。
• 地理定位：借助其他国家和地区的代理服务器 IP，访问特定地区的内容。
• IP 轮换：使用不同的代理信息，降低数据抓取时被检测到的风险。
• 绕过速率限制：多个代理分摊流量，可降低被封禁的概率，但无法完全避免。

轮换代理在需要不间断抓取大型网站，或需要每天、每周持续抓取以保持数据新鲜时尤为重要。

如今，许多开发者会在原生支持代理的无头浏览器中使用代理，但在轻量级或管理性质的网络请求场景下，搭配代理使用 PowerShell 仍然很实用。

如何安装 Invoke-WebRequest

废话不多说，来看看实际操作方法。以下是不同操作系统下的安装步骤。

Windows

如果您使用的是 Windows 10 或 11，系统已内置 Invoke-WebRequest，无需额外安装。打开 PowerShell 并运行：

Get-Command Invoke-WebRequest

如果没有显示，请将 PowerShell 更新至最新版本。

macOS

macOS 通常不会预装 PowerShell，需要自行安装。要使用 Invoke-WebRequest，请先通过 Homebrew 安装 PowerShell：

brew install powershell

然后使用以下命令启动：

pwsh

Linux

首先，通过 Snap 或包管理器安装 PowerShell：

sudo snap install powershell --classic

另外，在 Debian/Ubuntu 系统上，也可以通过 APT 安装 PowerShell，但需要先注册 Microsoft 的软件源，然后执行：

sudo apt-get install -y powershell

之后，您就可以像在 Windows 上一样发送网络请求了。

使用代理的基本语法

要在 PowerShell 中使用代理服务器，首先传入 -Proxy 参数：

Invoke-WebRequest -Uri "https://httpbin.org/ip" -Proxy "http://IP_ADDRESS:PORT"

它会将网络请求指向您的代理服务器 URL。

出于安全考虑，建议将凭据存储在环境变量或加密的密钥中，而不是直接硬编码：

$env:PROXY_USER = "your_actual_username"
$env:PROXY_PASS = "your_actual_password"

然后分别运行以下命令，创建相应的对象：

$securePassword = ConvertTo-SecureString $env:PROXY_PASS -AsPlainText -Force
$proxyCredentials = New-Object System.Management.Automation.PSCredential($env:PROXY_USER, $securePassword)

管理凭据时请使用 PowerShell 的安全保险库，这样可以让您的代理配置更加安全。

现在，您可以像这样传入代理身份验证凭据：

Invoke-WebRequest -Uri "https://httpbin.org/ip" `
    -Proxy "IP_ADDRESS:PORT" `
    -ProxyCredential $proxyCredentials

就是这样，只需替换为您自己的代理 IP 和凭据即可使用。

为网络数据抓取轮换代理

只使用一个代理服务器很可能很快就会被封锁。更好的做法是创建一个代理服务器 URL 列表，然后随机选取：

$proxies = @(
    "http://proxy1.com:8080",
    "http://proxy2.com:8080",
    "http://proxy3.com:8080"
)

$randomProxy = Get-Random -InputObject $proxies
Invoke-WebRequest -Uri "https://httpbin.org/ip" -Proxy $randomProxy

对于大规模数据抓取任务，更推荐使用 MarsProxies 这类托管代理池。这些可靠的代理自带自动轮换功能，您无需手动进行任何轮换操作。

使用 HTTPS 代理并绕过 SSL 问题

在 PowerShell 6 及以上版本中，可以使用 -SkipCertificateCheck 绕过无效证书错误。而在 Windows PowerShell 5.1 中没有内置该选项，您必须导入证书或使用 .NET 回调的变通方案。

Invoke-WebRequest -Uri "https://httpbin.org/ip" -SkipCertificateCheck

请注意，使用 -SkipCertificateCheck 会禁用 TLS 验证，在生产环境中并不安全。

排查常见错误

以下是一些常见的 PowerShell 代理错误：

• 407 Proxy Authentication Required：表示身份验证失败，需要检查您的凭据。
• 连接超时：代理服务器 IP 可能已失效或响应过慢。
• 代理格式无效：请确保包含 http:// 或 https://，并使用正确的代理设置。

在启动大规模数据抓取任务前，请务必先验证代理配置是否正确。

安全使用代理的最佳实践

让您的配置尽可能安全始终是明智之举，以下是一些建议：

• 不要硬编码凭据，也不要以明文形式存储，请改用环境变量。
• 存储密钥时请使用加密保险库。
• 发送 HTTP(S) 请求时请限制请求频率，否则可能会被封禁。
• 检查并调整HTTP 请求头（例如 User-Agent 或 Referer），以降低被检测到的概率。

必要时，您还可以考虑添加额外的 HTTP 请求头，以更好地模拟真实浏览器流量。

让 PowerShell 代理配置保持简洁和安全，与选对代理服务器同样重要。

PowerShell 应该搭配哪种代理使用？

您可以选择多种不同类型的代理服务器，它们主要在价格、可信度和速度方面有所差异：

• 住宅代理来自真实家庭和真人使用的网络，非常适合模拟真实用户流量，但价格相对更高。
• 数据中心代理速度很快，但由于是在数据中心内生成的，无法模拟真实流量，因此也很容易被检测到。
• ISP 代理是从互联网服务提供商租用的数据中心 IP，因此在外观上表现为住宅 IP，同时兼具数据中心代理的速度和稳定性。
• 移动代理非常适合对可信度要求高的数据抓取场景，通常被视为市面上可靠性较高的代理类型之一。

简而言之，每种代理都各有优劣，具体选择哪种完全取决于您项目的需求和预算。