使用Java爬虫根据关键词获取Shopee商品列表？

在跨境电商领域，Shopee作为东南亚及中国台湾地区领先的电商平台，拥有海量的商品信息。无论是进行市场调研、数据分析，还是寻找热门商品，根据关键词获取Shopee商品列表都是一项极具价值的任务。然而，手动浏览和整理这些信息显然是低效且容易出错的。幸运的是，通过编写Java爬虫程序，我们可以高效地完成这一任务。本文将详细介绍如何利用Java爬虫根据关键词获取Shopee商品列表，并提供完整的代码示例。

一、为什么选择Java爬虫？

Java是一种广泛使用的编程语言，特别适合用于开发稳定且高效的爬虫程序。以下是Java爬虫的几个优势：

强大的库支持
Java拥有丰富的第三方库，如HttpClient用于发送HTTP请求，Gson或Jackson用于解析JSON数据。
稳定性和性能
Java的多线程支持和良好的内存管理使其在处理大量数据时表现出色。
跨平台特性
Java程序可以在任何支持JVM的操作系统上运行，具有良好的兼容性。

二、准备工作

在开始编写爬虫之前，我们需要做好以下准备工作：

Java开发环境
确保你的电脑上安装了Java开发工具包（JDK），并配置了环境变量。推荐使用JDK 11及以上版本。

安装必要的库
我们需要以下Java库：

HttpClient：用于发送HTTP请求。
Gson：用于解析JSON数据。

如果你使用Maven作为项目管理工具，可以在pom.xml文件中添加以下依赖：

xml

<dependencies><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency><dependency><groupId>com.google.code.gson</groupId><artifactId>gson</artifactId><version>2.8.6</version></dependency>
</dependencies>

三、代码实现

1. 发送HTTP请求获取商品列表

Shopee提供了API接口用于根据关键词搜索商品。通过关键词，我们可以发送请求并获取商品列表。

示例代码：

java

import com.google.gson.Gson;
import com.google.gson.JsonObject;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;import java.io.IOException;public class ShopeeCrawler {public static JsonObject fetchShopeeProductList(String keyword) {String url = "https://shopee.tw/api/v2/search_items/?by=relevancy&keyword=" + keyword + "&limit=100";try (CloseableHttpClient httpClient = HttpClients.createDefault()) {HttpGet request = new HttpGet(url);request.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36");request.setHeader("Accept", "application/json");try (CloseableHttpResponse response = httpClient.execute(request)) {if (response.getStatusLine().getStatusCode() == 200) {String jsonResponse = EntityUtils.toString(response.getEntity());return new Gson().fromJson(jsonResponse, JsonObject.class);} else {System.out.println("请求失败，状态码：" + response.getStatusLine().getStatusCode());return null;}}} catch (IOException e) {e.printStackTrace();}return null;}public static void main(String[] args) {String keyword = "手机"; // 替换为实际关键词JsonObject productData = fetchShopeeProductList(keyword);if (productData != null) {System.out.println(productData.toString());}}
}

2. 解析商品列表并保存到CSV文件

获取到的JSON数据可以通过Gson库解析，并提取关键信息。

示例代码：

java

import com.google.gson.Gson;
import com.google.gson.JsonArray;
import com.google.gson.JsonObject;
import com.google.gson.JsonParser;import java.io.FileWriter;
import java.io.IOException;
import java.util.Iterator;public class ShopeeCrawler {public static void saveProductList(JsonObject data, String filePath) {JsonArray items = data.getAsJsonArray("items");try (FileWriter writer = new FileWriter(filePath)) {writer.append("商品名称,价格,库存,销量,商品链接\n");for (int i = 0; i < items.size(); i++) {JsonObject item = items.get(i).getAsJsonObject();String name = item.get("name").getAsString();double price = item.get("price").getAsDouble() / 100000; // Shopee价格单位为分int stock = item.get("stock").getAsInt();int sold = item.get("sold").getAsInt();String link = "https://shopee.tw/" + name + "-i." + item.get("shopid").getAsString() + "." + item.get("itemid").getAsString();writer.append(String.format("%s,%f,%d,%d,%s\n", name, price, stock, sold, link));}} catch (IOException e) {e.printStackTrace();}}public static void main(String[] args) {String keyword = "手机"; // 替换为实际关键词String outputFilePath = "shopee_product_list.csv";JsonObject productData = fetchShopeeProductList(keyword);if (productData != null) {saveProductList(productData, outputFilePath);System.out.println("商品列表已保存到 " + outputFilePath);}}
}