Python爬虫

Python爬虫是一种自动化下载网页内容的程序。以下是一个简单的Python爬虫示例，使用requests库获取网页，并用BeautifulSoup解析网页。

首先，你需要安装必要的库：

pip install requests
pip install beautifulsoup4

以下是一个简单的Python爬虫示例：

import requests
from bs4 import BeautifulSoup# 目标URL
url = 'https://example.com'# 发送HTTP请求
response = requests.get(url)# 检查请求是否成功
if response.status_code == 200:# 使用BeautifulSoup解析网页内容soup = BeautifulSoup(response.text, 'html.parser')# 提取页面标题print(soup.title.text)# 提取所有段落for p in soup.find_all('p'):print(p.text)
else:print(f'Error: {response.status_code}')

对于反爬虫机制，常见的有User-Agent检查、IP封禁等。应对策略包括使用代理、轮换User-Agent、减少请求频率等。

# 使用代理
proxies = {'http': 'http://10.10.1.10:3128','https': 'http://10.10.1.10:3128',
}
response = requests.get(url, proxies=proxies)# 轮换User-Agent
headers = {'User-Agent': 'My-App/0.1 Python/3.7.4',
}
response = requests.get(url, headers=headers)# 减少请求频率
import time
while True:response = requests.get(url)if response.status_code == 200:# 处理响应内容breakelse:# 等待一段时间后重试time.sleep(60)  # 等待60秒

为了确保爬虫的道德和合法性，应遵守目标网站的robots.txt规则，并在爬取数据时尊重网站的维护者和版权方的利益。