CrawlSpider
Scrapy框架中的一个爬虫模式，它特别适合处理网站结构动态、有大量链接需要抓取的情况。其优点包括：
优点：
自动发现并跟踪新的链接: CrawlSpider能够基于给定的起始URL自动找到和跟踪新的页面，通过模拟浏览器的导航行为。
深度优先搜索(DFS): 默认采用深度优先的方式遍历链接，节省资源，适合处理深度较深的网页结构。
延迟加载: 可以配置延时机制，防止对目标网站造成过大的访问压力。
缺点：
**对于广度优先搜索(BFS)**需求不高: 如果需要广泛抓取，比如社交网络的用户分页，CrawlSpider可能会比较低效，因为它默认是先深入再分支。
复杂规则支持有限：如果网站链接规则非常复杂，可能需要自定义中间件或下载策略。
实现原理：
CrawlSpider的核心是Rule和Callback，通过定义规则匹配网页上的特定元素（如CSS选择器），然后指定当该规则匹配时应调用哪个函数（回调）。爬虫会根据这些规则跟随链接，并在指定的地方存储数据。
实际应用：
常用于新闻资讯网站、博客等信息较多的静态网站爬取，尤其是那些有清晰层级结构的网页。
Python编写示例（简化版）:Python
import scrapyclass MyCrawler(CrawlSpider):name = 'my_crawler'allowed_domains = ['example.com']start_urls = ['http://www.example.com/start']rules = (Rule(LinkExtractor(restrict_css='a.some-class'), callback='parse_item'),)def parse_item(self, response):# 这里解析HTML内容，提取所需的数据item_data = {'title': response.css('h1::text').get(), 'link': response.url}yield item_data# 跟随新链接yield response.follow()
在这个例子中，CrawlSpider会从start_urls开始，遇到类名为’some-class’的链接就调用parse_item函数处理，并继续抓取新链接。
)
