Python 利用无头浏览器爬虫爬取笔趣阁小说教程 - 幽络源原创教程

前言

群内用户有需求，需要将笔趣阁的小说便捷的保存为文档到本地，幽络源站长初步了解笔趣阁，发现有反爬措施，小说内容为JS动态生成的，Python的requests库与requests_html已无法满足此需求，因此使用类似selenium但非selenium的无头浏览器爬虫针对笔趣阁实现小说爬取。

原文链接：Python利用无头浏览器爬虫爬取笔趣阁小说教程2024/12/8-幽络源原创教程

教程步骤

1.下载安装chromium

2.明确chromium默认安装路径

3.编写代码

4.明白爬取参数与注意事项

5.开始爬取

6.查看结果

步骤1.下载安装chromium

下载方式一：官网下载 -> Chromiun下载链接

下载方式二：夸克网盘下载保存 -> chromium下载器

下载后，直接双击安装器完成安装即可，如图

QQ_1733633948491

步骤2.明确chromium默认安装路径

安装后，需要明白默认安装的位置，因为代码中会用到，我的电脑用户名为AW，因此被安装在了如下路径，如图

C:\Users\AW\AppData\Local\Chromium\Application\chrome.exe

QQ_1733634089242

步骤3.编写代码

这段代码中用到的库主要为pyppteer、python-docx，这两个库需额外下载

最终代码如下

import asyncio
import osfrom docx import Document
from pyppeteer import launch# 禁用自动下载 Chromium
os.environ["PYPPETEER_SKIP_CHROMIUM_DOWNLOAD"] = "true"async def main():# word名称wordName = "宿命之环1~3章.docx"# 笔趣阁域名netName = "https://www.22biqu.com"# 指定起始页的链接firstPagePath = "/biqu5251/5259122.html"# 指定结束页的链接，不要指定的太远，因为字数太多，打开word很卡的endPagePath= "/biqu5251/5259124.html"# 要爬取的链接catchUrl = netName + firstPagePath# 页数，可参考pageCount=0# 结束标志endFlag=Falsewhile True:try:#尝试打开一个worddoc = Document(wordName)except:doc = Document()# 启动浏览器，指定手动下载的 Chromium 路径browser = await launch(executablePath=r'C:\Users\AW\AppData\Local\Chromium\Application\chrome.exe', headless=True)# 创建新页面page = await browser.newPage()# 打开目标页面await page.goto(catchUrl)# 使用 querySelector 获取 h1 标签且 class 为 title 的元素element = await page.querySelector('h1.title')if element:# 获取该元素的文本内容text = await page.evaluate('(element) => element.innerText', element)doc.add_heading(text, level=1)else:print('Element not found.')# 使用 querySelector 获取 id="content" 元素content_element = await page.querySelector('#content')if content_element:# 获取 content 下所有 p 标签的内容paragraphs = await content_element.querySelectorAll('p')for paragraph in paragraphs:# 获取每个 p 标签的文本内容并输出text = await page.evaluate('(p) => p.innerText', paragraph)doc.add_paragraph(text)else:print('Content element not found.')# 使用 querySelector 获取 id="next_url" 的元素element = await page.querySelector('#next_url')next_url=""if element:# 获取该元素的 href 属性next_url = await page.evaluate('(element) => element.getAttribute("href")', element)# 拼接下一页爬取的链接catchUrl=netName+next_urlelse:print('Element not found.')# 关闭浏览器await browser.close()# 保存worddoc.save(wordName)if endFlag:breakpageCount+=1print("已完成页码"+str(pageCount))if next_url==endPagePath:print("匹配到结束链接:"+str(endPagePath))print("即将结束")endFlag=True# 运行异步主函数
asyncio.run(main())