使用Selenium进行网页自动化测试

在使用Selenium进行网页自动化测试时，获取网络请求数据（即network数据）并不直接由Selenium库提供。Selenium主要用于与网页内容进行交互（如点击、输入文本、获取页面元素等），但它本身不拦截或记录网络请求。

然而，你可以结合Selenium与其他工具（如BrowserMob Proxy、Wireshark、mitmproxy、或Selenium自带的Chrome DevTools Protocol）来获取网络请求数据。下面是一些常用的方法：

方法一：使用BrowserMob Proxy

BrowserMob Proxy是一个Java程序，可以与Selenium配合使用来捕获HTTP和HTTPS流量。

安装BrowserMob Proxy：
- 下载并安装Java。
- 下载BrowserMob Proxy。
设置Python代码：
- 使用browsermob-proxy-py库（Python的BrowserMob Proxy绑定）。

pip install browsermob-proxy-py

from selenium import webdriver
from browsermobproxy import Server
from selenium.webdriver.common.proxy import Proxy, ProxyType# 启动BrowserMob Proxy服务器
server = Server("/path/to/browsermob-proxy")
server.start()
proxy = server.create_proxy()# Selenium的Proxy配置
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server={0}".format(proxy.proxy))# 创建一个Selenium WebDriver实例
driver = webdriver.Chrome(chrome_options=chrome_options)# 获取新会话的HAR（HTTP Archive）数据
proxy.new_har("example")# 导航到目标URL
driver.get("http://example.com")# 获取HAR数据
har_data = proxy.har# 打印HAR数据
print(har_data)# 关闭WebDriver和BrowserMob Proxy服务器
driver.quit()
server.stop()

方法二：使用mitmproxy

mitmproxy是一个强大的中间人代理，可以拦截、修改和检查HTTP和HTTPS流量。

安装mitmproxy：
```
pip install mitmproxy
```
设置mitmproxy与Selenium：

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from mitmproxy import options
from mitmproxy.tools.dump import DumpMaster
from mitmproxy import http# 配置mitmproxy监听端口
options = options.Options(listen_host='127.0.0.1', listen_port=8080)# 定义处理HTTP请求的类
class Interceptor:def __init__(self):self.flows = []def request(self, flow: http.HTTPFlow) -> None:self.flows.append(flow)# 启动mitmproxy
m = DumpMaster(options)
interceptor = Interceptor()
m.addons.add(interceptor)
try:m.run()
except KeyboardInterrupt:m.shutdown()# 配置Selenium的Proxy
proxy = Proxy({'proxyType': ProxyType.MANUAL,'httpProxy': '127.0.0.1:8080','sslProxy': '127.0.0.1:8080'
})chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server=http://127.0.0.1:8080")# 创建一个Selenium WebDriver实例
driver = webdriver.Chrome(chrome_options=chrome_options)# 导航到目标URL
driver.get("http://example.com")# 获取捕获的HTTP请求
for flow in interceptor.flows:print(flow.request.url)# 关闭WebDriver
driver.quit()

注意：运行mitmproxy可能需要你配置证书以捕获HTTPS流量。

方法三：使用Chrome DevTools Protocol（CDP）

Chrome DevTools Protocol允许你与Chrome浏览器进行低级别的通信，包括获取网络请求数据。Selenium 4+提供了对CDP的直接支持。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time# 配置Chrome选项
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")  # 连接到已打开的Chrome实例# 创建WebDriver实例
driver = webdriver.Chrome(service=Service(), options=chrome_options)# 导航到目标URL
driver.get("http://example.com")# 使用CDP获取网络请求数据
# 需要导入CDP的库或使用selenium的execute_cdp_cmd方法
# 示例代码取决于你如何配置和获取CDP数据
# driver.execute_cdp_cmd('Network.enable', {})
# driver.execute_cdp_cmd('Network.setCaptureMode', {"mode": "includeAll"})
# network_logs = driver.execute_cdp_cmd('Network.getAllRequests', {})
# print(network_logs)# 这里仅是一个示例，你需要根据CDP文档来实现具体功能# 关闭WebDriver
driver.quit()