在Selenium 中更改 User-Agent 的步骤与最佳实践

引言

在 Selenium 中更改 User Agent 是许多网页自动化任务中的关键步骤。它有助于将自动化脚本伪装成常规浏览器，从而避免被网站检测到。本指南将带您了解如何在 Selenium 中更改 Google Chrome 的 User Agent，并提供最佳实践以确保您的网页自动化任务顺利进行。

1. 了解 Selenium User-Agent

User-Agent 字符串是 HTTP 头信息的重要组成部分，在浏览器和 Web 服务器之间的通信中起着重要作用。它提供有关发送请求的浏览器、操作系统和设备的具体信息。以下是一个典型的 User-Agent 字符串示例：

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36

这个字符串表明请求来自运行在 Windows 操作系统上的 Chrome 浏览器。

然而，当使用 Selenium 进行 Web 自动化时，默认的 User-Agent 字符串可以揭示请求是由自动化脚本发出的。配备反机器人措施的网站可以轻松检测到这一点并阻止访问，以防止自动化抓取或测试。这使得在 Selenium 中自定义 User-Agent 字符串变得至关重要，以使请求看起来像是来自真实的浏览器，从而降低被检测和阻止的风险。

2. Selenium 中的默认 User-Agent

Selenium 在发出 HTTP 请求时使用 User-Agent 字符串。默认情况下，Selenium 将使用与其自动化的浏览器相关联的 User-Agent 字符串。这意味着当您使用 Chrome WebDriver 运行 Selenium 脚本时，User-Agent 字符串将反映 Chrome 的默认 User-Agent。

然而，这个默认的 User-Agent 有时会向 Web 服务器发出信号，表明请求来自自动化脚本，使基于 Selenium 的操作容易被反机器人系统检测和阻止。自定义 User-Agent 字符串可以帮助减轻这个问题，使您的脚本更无缝地融入常规浏览器流量。

3. 为什么要更改 User-Agent？

User-Agent 字段包含有关发出请求的浏览器类型、版本、引擎和操作系统的信息。如果目标网站在短时间内收到来自同一 User-Agent 的多个请求，它有理由怀疑这些请求来自同一个用户或单个机器人。然后，网站管理员可以暂时阻止来自该特定 User-Agent 的请求，以防止进一步访问。特别是在需要抓取大量数据的情况下，能够更改 User-Agent 以模拟不同用户是至关重要的。这可以显著提高您的自动化任务成功率。

3.1. 在 Google Chrome Selenium 中更改 User-Agent

如果您尚未在本地安装 selenium 库，可以使用以下命令进行安装：

pip install selenium

导入库：

from selenium import webdriver

然后初始化一个 Chrome Options 对象并设置自定义 User-Agent：

custom_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={custom_user_agent}')

接下来，创建一个新的 ChromeDriver 实例并向目标网站发出请求：

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")

HTTPBin 是一个 Web 请求调试服务，它显示请求的 User-Agent。如果代码正确，您应该会看到我们自定义的 User-Agent。

在上述代码中，custom_user_agent 值是静态的。如果您希望每次打开浏览器时使用不同的 User-Agent，可以使用 fake-useragent 库，该库提供了一种简单的方法来动态生成随机 User-Agent 字符串。使用以下命令安装该库：

pip install fake-useragent

使用 fake-useragent 非常简单：

from fake_useragent import UserAgent
ua = UserAgent()# 获取一个随机的浏览器 User-Agent 字符串
print(ua.random)# 或者获取特定浏览器的 User-Agent 字符串
print(ua.chrome)
# Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
print(ua.firefox)
# Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0
print(ua.safari)
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.2 Safari/605.1.15

结合 Selenium，完整代码如下：

import time
from selenium import webdriver
from fake_useragent import UserAgentua = UserAgent()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--user-agent={ua.random}')driver = webdriver.Chrome(options=chrome_options)
driver.get("https://httpbin.org/user-agent")time.sleep(10)
driver.quit()

这种设置允许我们在 Selenium 驱动的 Google Chrome 中随机化使用的 User-Agent。

3.2. 在 Firefox Selenium 中更改 User-Agent

Selenium 不仅可以驱动 Google Chrome，还可以驱动 Firefox。唯一的区别是将 webdriver.ChromeOptions() 切换为 webdriver.FirefoxOptions()。以下是完整代码：

import time
from selenium import webdriver
from fake_useragent import UserAgentua = UserAgent()
firefox_options = webdriver.FirefoxOptions()
firefox_options.add_argument(f'--user-agent={ua.random}')driver = webdriver.Firefox(options=firefox_options)
driver.get("https://httpbin.org/user-agent")time.sleep(10)
driver.quit()