利用 Java 爬虫从 yiwugo 根据 ID 获取商品详情

在当今数字化时代，数据是商业决策的关键。对于从事国际贸易的商家来说，精准获取商品的详细信息至关重要。yiwugo 是一个知名的国际贸易平台，拥有海量的商品数据。通过 Java 爬虫技术，我们可以高效地从 yiwugo 根据商品 ID 获取详细信息，从而为市场分析、产品调研等提供有力支持。

一、准备工作

（一）环境搭建

Java 安装：确保已安装 Java 开发环境，推荐使用 JDK 8 或更高版本，因为其性能更优且对爬虫库的支持更完善。可以从官网下载安装包并安装。
开发工具配置：使用 IntelliJ IDEA 或 Eclipse 等 Java 开发工具，创建一个新的 Maven 项目，以便方便地管理项目依赖和构建。

依赖库添加：在项目的 pom.xml 文件中添加必要的依赖库，包括用于发送网络请求的 HttpClient，用于解析 HTML 的 Jsoup 等。示例配置如下：

<dependencies><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.13.1</version></dependency>
</dependencies>

（二）yiwugo 平台了解

注册账号：在 yiwugo 平台注册一个账号，以便能够正常访问商品详情页面。部分商品信息可能需要登录后才能查看完整。
获取商品 ID：浏览 yiwugo 平台，找到感兴趣的商品，查看其 URL，通常 URL 中会包含商品 ID，如 https://www.yiwugo.com/product/123456.html 中的 123456 即为商品 ID。

二、编写爬虫代码

（一）发送请求

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;public class YiwugoCrawler {public String sendRequest(String productId) {String url = "https://www.yiwugo.com/product/" + productId + ".html";CloseableHttpClient httpClient = HttpClients.createDefault();HttpGet httpGet = new HttpGet(url);httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3");try (CloseableHttpResponse response = httpClient.execute(httpGet)) {if (response.getStatusLine().getStatusCode() == 200) {return EntityUtils.toString(response.getEntity(), "UTF-8");} else {System.out.println("请求失败，状态码：" + response.getStatusLine().getStatusCode());}} catch (Exception e) {e.printStackTrace();}return null;}
}

构建 URL：根据商品 ID 构建完整的商品详情页面 URL。
设置请求头：模拟浏览器访问，设置 User-Agent 避免被网站反爬虫机制拦截。
发送 GET 请求：使用 HttpClient 发送请求，获取响应内容。若请求成功返回响应文本，否则打印错误信息并返回 null。

（二）解析 HTML

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.util.HashMap;
import java.util.Map;public class HtmlParser {public Map<String, String> parseHtml(String html) {Document doc = Jsoup.parse(html);Map<String, String> productInfo = new HashMap<>();// 获取商品名称Element productNameElement = doc.select("h1.product-title").first();if (productNameElement != null) {productInfo.put("商品名称", productNameElement.text().trim());}// 获取商品价格Element productPriceElement = doc.select("span.price").first();if (productPriceElement != null) {productInfo.put("商品价格", productPriceElement.text().trim());}// 获取商品图片Elements productImages = doc.select("img.product-image");StringBuilder imagesBuilder = new StringBuilder();for (Element img : productImages) {imagesBuilder.append(img.absUrl("src")).append(";");}productInfo.put("商品图片", imagesBuilder.toString());// 获取商品描述Element productDescriptionElement = doc.select("div.product-description").first();if (productDescriptionElement != null) {productInfo.put("商品描述", productDescriptionElement.text().trim());}return productInfo;}
}

创建 Jsoup 对象：传入 HTML 文本，构建解析树。
提取商品信息：通过定位 HTML 元素的选择器，提取商品名称、价格、图片和描述等信息，并存储到 Map 中。

（三）整合爬虫流程

public class Main {public static void main(String[] args) {YiwugoCrawler crawler = new YiwugoCrawler();HtmlParser parser = new HtmlParser();String productId = "123456"; // 替换为实际商品 IDString html = crawler.sendRequest(productId);if (html != null) {Map<String, String> productInfo = parser.parseHtml(html);if (productInfo != null) {System.out.println("商品信息：");productInfo.forEach((key, value) -> System.out.println(key + ": " + value));} else {System.out.println("解析 HTML 失败");}} else {System.out.println("获取商品信息失败");}}
}

主函数：创建 YiwugoCrawler 和 HtmlParser 对象，调用 sendRequest() 获取 HTML，再调用 parseHtml() 解析 HTML，最后输出商品信息。

三、运行与数据处理

（一）运行爬虫

指定商品 ID：将 productId 替换为实际想要获取详情的商品 ID。
运行爬虫：执行 Main 类的 main 方法，爬虫会输出获取到的商品信息。

（二）数据存储

import java.io.FileWriter;
import java.io.IOException;
import java.util.Map;public class DataSaver {public void saveToCsv(Map<String, String> productInfo, String filename) {try (FileWriter writer = new FileWriter(filename)) {// 写入表头writer.append("商品名称,商品价格,商品图片,商品描述\n");// 写入数据String productName = productInfo.get("商品名称");String productPrice = productInfo.get("商品价格");String productImages = productInfo.get("商品图片");String productDescription = productInfo.get("商品描述");writer.append(String.format("%s,%s,%s,%s\n", productName, productPrice, productImages, productDescription));} catch (IOException e) {e.printStackTrace();}}
}