如何使用 Puppeteer 解决 reCAPTCHA 并提高成功率

引言

在当今数字化的网络环境中，网站为了保障自身安全，防止自动化机器人的滥用，广泛采用了 CAPTCHAs 这种安全措施，其中 reCAPTCHAs 尤为常见。对于从事网络爬虫或者自动化测试工作的开发者而言，虽然 CAPTCHAs 在维护网站安全方面起着关键作用，但它却成了工作中的一大阻碍。不过，幸运的是，借助 Puppeteer 这类工具，并结合 CAPTCHA 解决服务，能够有效地克服这些难题。本文将详细探讨如何运用 Puppeteer 来解决 reCAPTCHA 问题，并将其融入到您的工作流程中。

1 什么是 Puppeteer？

Puppeteer 是一个 Node.js 库，它提供了一个高级 API 用于控制 Chrome 或 Chromium 浏览器。Puppeteer 主要用于自动化测试、抓取网页以及从网页生成 PDF 等任务。Puppeteer 非常适合用于浏览网站、点击按钮，甚至处理复杂的 JavaScript 应用程序。

2 reCAPTCHA 的挑战

reCAPTCHA 是一种更加复杂的 CAPTCHA，旨在阻止机器人访问网络服务。它通常要求用户识别图像中的对象，或者仅仅点击一个复选框。对于机器人而言，这些任务在没有合适工具的情况下是非常具有挑战性的。

当使用 Puppeteer 进行网络爬虫或自动化时，遇到 reCAPTCHA 可能会阻止整个过程的进行。为继续操作，您需要一种能够以编程方式解决 reCAPTCHA 的方法。

3 使用 Puppeteer 解决 reCAPTCHA

要使用 Puppeteer 解决 reCAPTCHA，您可以采用多种方法。以下是最有效的几种方法概述：

3.1 手动绕过

这种方法涉及使用 Puppeteer 的交互模式手动解决 CAPTCHA。这种方法适合测试，但对于大规模自动化并不实用。

3.2 第三方 CAPTCHA 解决方案

最有效的以编程方式处理 reCAPTCHA 的方法是使用第三方 CAPTCHA 解决服务。这些服务提供 API，可以为您解决 reCAPTCHA，并返回您可以提交给网站的响应令牌。

3.3 自定义解决方案

对于高级用户，可以使用机器学习模型创建自定义的 reCAPTCHA 解决系统。然而，这需要大量资源和专业知识。

4 使用第三方 CAPTCHA 解决方案与 Puppeteer 集成

让我们重点介绍如何将第三方 CAPTCHA 解决方案与 Puppeteer 集成。以下是使用第三方服务解决 reCAPTCHA 的分步指南。

4.1 安装所需依赖项

首先，确保已安装 Puppeteer 和 axios 库，axios 将用于向 CAPTCHA 解决服务发出 HTTP 请求。

npm install puppeteer axios

4.2 设置 Puppeteer

启动 Puppeteer 并导航到需要解决 reCAPTCHA 的目标网站。

const puppeteer = require('puppeteer');async function solveRecaptcha(url) {const browser = await puppeteer.launch({ headless: false });const page = await browser.newPage();await page.goto(url);// 其他 Puppeteer 逻辑代码
}solveRecaptcha('https://example.com');

4.3 请求 reCAPTCHA 解决方案

使用 axios 向第三方服务的 API 发送请求以解决 reCAPTCHA。

const axios = require('axios');async function getCaptchaSolution(siteKey, pageUrl, apiKey) {const response = await axios.post('https://api.capsolver.com/createTask', {clientKey: apiKey,task: {type: 'ReCaptchaV2Task',websiteURL: pageUrl,websiteKey: siteKey,},});const taskId = response.data.taskId;let solution = '';// 轮询以获取解决方案while (!solution) {const result = await axios.post('https://api.capsolver.com/getTaskResult', {clientKey: apiKey,taskId: taskId,});if (result.data.status === 'ready') {solution = result.data.solution.gRecaptchaResponse;} else {await new Promise((resolve) => setTimeout(resolve, 5000)); // 等待5秒钟后重试}}return solution;
}

4.4 注入 CAPTCHA 解决方案

获取解决方案后，将其注入页面并提交表单。

const siteKey = 'SITE_KEY';
const pageUrl = 'https://example.com';
const apiKey = 'YOUR_CAPSOLVER_API_KEY';const captchaSolution = await getCaptchaSolution(siteKey, pageUrl, apiKey);await page.evaluate((captchaSolution) => {document.querySelector('#g-recaptcha-response').innerHTML = captchaSolution;document.querySelector('form').submit();
}, captchaSolution);

4.5 完成流程

关闭浏览器或继续进行下一个自动化步骤。

await browser.close();

5 高级技术

对于更高级的用例，可以考虑将 Puppeteer 与 undetected-chromedriver 工具结合使用以避免检测，或者使用 Playwright 库作为替代方案。Playwright 提供了与 Puppeteer 类似的功能，但提供了更高级的浏览器自动化功能，包括对多浏览器的支持以及更好地处理动态内容和 CAPTCHA 等网络抓取挑战。