基于DrissionPage的TB商品信息采集与可视化分析

一、项目背景

随着电子商务的快速发展，淘宝作为中国最大的电商平台之一，拥有海量的商品信息。这些数据对于市场分析、用户行为研究以及竞争情报收集具有重要意义。然而，由于淘宝的反爬虫机制和复杂的页面结构，直接获取商品信息并不容易。尤其是在电商行业高速发展的今天，商品价格数据是市场分析和商业决策的重要依据。传统人工采集方式存在效率低、覆盖面窄、实时性差等痛点。本项目通过实现自动化爬虫系统，可完成以下目标：

实时监控：动态跟踪商品价格波动
竞品分析：横向对比同类商品定价策略
市场洞察：发现价格分布规律与异常值
数据沉淀：构建商品信息数据库

本项目旨在通过使用DrissionPage工具，结合Python编程语言，实现对淘宝商品信息的自动化采集，并基于采集到的数据生成价格分布的可视化图表，帮助用户快速了解商品的价格区间。

二、项目概述

本项目的核心目标是实现以下功能：

商品信息采集：根据用户输入的商品名称，自动抓取淘宝平台上的相关商品信息（包括店铺名称、所在城市、商品ID、商品名称和价格）。
数据存储：将采集到的商品信息保存为本地文件，便于后续分析。
数据可视化：基于采集到的商品价格数据，生成价格分布的直方图，直观展示商品价格区间。

三、需求分析

3.1 功能性需求

需求类型	具体描述
数据采集	支持关键词搜索、分页爬取、动态加载处理
数据解析	提取商品名称、价格、店铺信息、地理位置等20+字段
数据存储	本地文件存储（TXT/CSV）、结构化工整、支持追加写入
可视化分析	生成价格分布直方图、带KDE曲线、自适应分箱
异常处理	网络超时重试、反爬检测规避、数据格式容错

3.2 非功能性需求

指标	目标值
采集效率	单页响应时间 < 3s（不含人为延迟）
数据精度	字段完整率 ≥ 98%
系统稳定性	连续运行12小时无故障
资源占用	内存占用 < 500MB

四、技术难点分析

4.1 TB数据包分析

打开TB网站，模拟正常用户搜索某一品类商品流程，进而分析数据包。我们搜索商品关键字可以发现对应的数据在以下数据包中，由此可以进行数据包的监听。

4.2 指定数据包监听

淘宝的商品信息是通过动态加载的方式呈现的，数据并非直接嵌入HTML中，而是通过API接口返回的类JSON格式数据。因此，需要监听网络请求并提取JSON数据。

解决方案：

# 精准监听特定API请求
self.page.listen.start('mtop.relationrecommend.wirelessrecommend.recommend/2.0/')
self.page.get(url)
res_data = self.page.listen.wait()  # 等待目标API响应
json_data = json.loads(res_data.response.body[12:-1])  # 去除首尾干扰字符

4.3中文字体配置：

在生成可视化图表时，Matplotlib默认不支持中文显示，可能会导致乱码问题。为此，项目中引入了matplotlib.font_manager模块，配置中文字体以确保图表中的中文能够正确显示。

    def _configure_fonts(self):"""配置中文字体（解耦Tkinter初始化）"""try:# 1. 配置Matplotlib字体font_path = 'C:/Windows/Fonts/msyh.ttc'  # 确保路径存在self.font_prop = fm.FontProperties(fname=font_path)# 设置全局字体配置plt.rcParams['font.sans-serif'] = [self.font_prop.get_name()]plt.rcParams['axes.unicode_minus'] = False# 2. 延迟初始化Tkinter字体（使用时再配置）self._need_configure_tk_font = Trueexcept Exception as e:print(f"Matplotlib字体配置失败: {e}")# 使用备用方案plt.rcParams['font.sans-serif'] = ['SimHei']plt.rcParams['axes.unicode_minus'] = False

4.4 数据清洗与处理

从返回的数据中进行截取处理并转为JSON数据，进而从中提取的商品信息。可能存在格式不一致的情况（如城市信息的分隔符）。项目中通过字符串操作等方式对数据进行清洗，确保数据的准确性。

    def deal_json_data(self, json_data):"&