Selenium越过网页验证的几种方式

前言

selenium模拟浏览器作为自动化测试工具，有很多人会用它来爬一些数据，这种方式通常都可以绕开网页自带的接口加密之类的东西直接获取数据。但是最近禁用selenium的网站越来越多了（直接浏览器可以打开，但是用selenium打开的浏览器访问这些网页就一片空白）。于是整理几个selenium绕过这些反爬措施的方法。

简单取消标识

这个比较基础，就是把chrome上的那个自动化测试标识去了，可以绕过一些简单的反selenium措施（估计可以绕过10%-20%的）

from selenium import webdriver
from selenium.webdriver.chrome.options import Optionsoptions = Options()
options.add_experimental_option('excludeSwitches', ['enable-automation'])driver = webdriver.Chrome(options=options)

复杂取消标识

如果更复杂一点的话就需要知道为什么这些网站可以判断一个浏览器是不是selenium操作的，绝大部分使用的是一行js代码“window.navigator.webdriver”，在正常的浏览器下执行的结果是undefined

但是如果在selenium操作的浏览器下运行的结果就会是true

所以需要做的操作就很简单了，运行js代码强制令这个变量=undefined就可以了

加几行这些个代码就可以搞定基本80%以上的防selenium网站了