利用 Python 爬虫按关键字搜索淘宝商品

在当今数字化时代，网络购物已成为人们生活中不可或缺的一部分。淘宝作为国内领先的电商平台，拥有海量的商品信息。对于许多消费者和商家来说，能够快速准确地获取淘宝商品信息是非常有价值的。而 Python 爬虫技术为我们提供了实现这一目标的可能。以下将详细介绍如何利用 Python 爬虫按关键字搜索淘宝商品。

一、准备工作

在开始编写爬虫代码之前，需要确保已经安装了所需的 Python 库。主要用到的库包括 requests、BeautifulSoup 和 selenium。如果尚未安装这些库，可以通过以下命令进行安装：

bash

pip install requests
pip install beautifulsoup4
pip install selenium

此外，如果你选择使用 selenium 来模拟浏览器操作，还需要安装对应的浏览器驱动程序，例如 ChromeDriver。

二、爬虫实现

以下是基于 Python 的淘宝商品搜索爬虫的实现代码示例：

1. 使用 `requests` 和 `BeautifulSoup` 获取商品信息

这种方法相对简单，适用于不需要登录或复杂交互的场景。

Python

import requests
from bs4 import BeautifulSoupdef get_page(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}response = requests.get(url, headers=headers)return response.textdef parse_product_details(html):soup = BeautifulSoup(html, 'html.parser')products = soup.select(".m-itemlist .items .item")for product in products:title = product.select_one(".title").get_text(strip=True)price = product.select_one(".price").get_text(strip=True)shop = product.select_one(".shop").get_text(strip=True)print(f"商品名称: {title}")print(f"商品价格: {price}")print(f"店铺名称: {shop}")print("------------------------")def search_products(keyword):url = f"https://s.taobao.com/search?q={keyword}"html = get_page(url)parse_product_details(html)if __name__ == "__main__":keyword = "iPhone 13"search_products(keyword)

2. 使用 `selenium` 模拟浏览器操作

如果需要处理登录、滑块验证等复杂交互，selenium 是一个更好的选择。

Python

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import timedef search_goods(keyword):driver = webdriver.Chrome()driver.get('https://www.taobao.com')wait = WebDriverWait(driver, 20)try:print("正在搜索: {}".format(keyword))input_element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))submit_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))input_element.send_keys(keyword)submit_button.click()time.sleep(2)print("搜索完成！")except Exception as exc:print("search_goods函数错误！Error：{}".format(exc))finally:driver.quit()if __name__ == '__main__':keyword = input('输入搜索的商品关键词Keyword：')search_goods(keyword)