使用Apache HttpClient编写Java爬虫

想要一个使用Apache HttpClient库的爬虫程序。首先，我需要确定用户的需求是什么。他们可能想用Java写一个网络爬虫，用来抓取网页内容。Apache HttpClient是一个常用的HTTP客户端库，用来发送HTTP请求和处理响应。所以，我需要先考虑如何用这个库来构造一个基本的爬虫程序。

以下是使用Apache HttpClient库编写的简单Java爬虫程序示例，包含详细步骤和中文注释：

import org.apache.http.HttpEntity;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.ssl.SSLContexts;
import org.apache.http.util.EntityUtils;import javax.net.ssl.SSLContext;
import java.io.IOException;public class HttpClientCrawler {public static void main(String[] args) {// 创建自定义HttpClient（支持HTTPS）try (CloseableHttpClient httpClient = createHttpClient()) {// 设置目标URLString url = "https://www.example.com";// 创建HttpGet请求HttpGet httpGet = new HttpGet(url);// 设置请求配置（超时时间）RequestConfig config = RequestConfig.custom().setConnectTimeout(5000)    // 连接超时5秒.setSocketTimeout(5000)     // 读取超时5秒.build();httpGet.setConfig(config);// 设置请求头（模拟浏览器访问）httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36");// 执行请求try (CloseableHttpResponse response = httpClient.execute(httpGet)) {// 获取响应状态码int statusCode = response.getStatusLine().getStatusCode();System.out.println("HTTP状态码: " + statusCode);// 处理成功响应if (statusCode == 200) {HttpEntity entity = response.getEntity();if (entity != null) {// 将响应内容转换为字符串String html = EntityUtils.toString(entity, "UTF-8");System.out.println("网页内容长度: " + html.length());// 这里可以添加HTML解析逻辑（如使用Jsoup）// Document doc = Jsoup.parse(html);// 提取需要的数据...}} else {System.err.println("请求失败，状态码: " + statusCode);}}} catch (Exception e) {e.printStackTrace();}}// 创建支持HTTPS的HttpClient（忽略证书验证）private static CloseableHttpClient createHttpClient() throws Exception {// 创建SSL上下文（信任所有证书，仅用于测试环境！）SSLContext sslContext = SSLContexts.custom().loadTrustMaterial(null, (chain, authType) -> true) // 信任所有证书.build();// 创建SSL连接工厂SSLConnectionSocketFactory sslSocketFactory = new SSLConnectionSocketFactory(sslContext,new String[]{"TLSv1.2", "TLSv1.3"}, // 支持的协议null,SSLConnectionSocketFactory.getDefaultHostnameVerifier());return HttpClients.custom().setSSLSocketFactory(sslSocketFactory).build();}
}

使用说明：

1. 添加Maven依赖：

   <dependencies><!-- HttpClient核心库 --><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency><!-- 如果需要HTML解析，添加Jsoup --><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.15.3</version></dependency>
   </dependencies>
   

2. 主要功能说明：

   • 自动处理HTTPS证书验证（测试环境使用）
   • 设置合理的超时时间
   • 模拟浏览器User-Agent
   • 处理HTTP状态码
   • 支持响应内容转换

3. 扩展建议：

   // 添加代理支持
   RequestConfig config = RequestConfig.custom().setProxy(new HttpHost("proxy.example.com", 8080)).build();// 添加Cookie管理
   CookieStore cookieStore = new BasicCookieStore();
   CloseableHttpClient client = HttpClients.custom().setDefaultCookieStore(cookieStore).build();// 使用连接池（推荐）
   PoolingHttpClientConnectionManager connManager = new PoolingHttpClientConnectionManager();
   connManager.setMaxTotal(200);  // 最大连接数
   connManager.setDefaultMaxPerRoute(20);  // 每个路由最大连接数
   

4. 注意事项：

   • 生产环境不要跳过SSL证书验证
   • 遵守目标网站的robots.txt协议
   • 设置合理的爬取间隔（建议3-5秒）
   • 处理可能遇到的429/503状态码
   • 添加日志记录和错误重试机制

如果需要解析HTML内容，建议结合Jsoup库使用：

Document doc = Jsoup.parse(html);
Elements links = doc.select("a[href]");
for (Element link : links) {System.out.println("发现链接: " + link.attr("abs:href"));
}

请根据实际需求调整代码，并确保遵守目标网站的使用条款和相关法律法规。