scrapy--json结构数据-存储

免责声明:本文仅做演示与分享...

目录

基于命令存储的解析方法:

settings.py

blibli.py

基于管道存储的解析方法:

  1-在爬虫文件中进行数据解析

  2-在items.py定义相关属性

  3-在 爬虫文件中 把 解析的数据存储封装到item类型对象中

  4-把item类型对象提交给管道

  5-在管道文件中，接收爬虫文件提交过来的item类型对象

保存到Excel中:

保存到数据库(mysql)中:

 

  6-配置文件中开启管道

---

b站热度排行榜

基于命令存储的解析方法:

--只需修改图中画圈的文件即可.

settings.py

根据需要自己设置.

(伪装头,君子协议,日志输出)...

blibli.py

import scrapy
from scrapy_demo1.items import ScrapyDemo1Item# 找到数据所在的URL
# 执行项目
class BlibliSpider(scrapy.Spider):name = "blibli"# allowed_domains = ["blibli.com"]start_urls = ["https://api.bilibili.com/x/web-interface/ranking/v2?rid=0&type=all&web_location=333.934&w_rid=6d0af3cab734841a471545ef10d2a0f0&wts=1724383027"]# 基于命令存储的解析方法def parse(self, response):ls = []# pass# 如果请求的url的响应内容为json数据,也可以直接调用json()方法获取数据# print(response.json())  # 字典类型data = response.json()# print(data)for d in data["data"]["list"]:aid = d["aid"]desc = d["desc"]title = d["title"]name = d["owner"]["name"]# print(aid, desc, title, name)# 一次性返回100条数据, [{},{},{},{}]dict = {"视频id": aid,"视频标题": title,"视频描述": desc,"视频作者": name,}ls.append(dict)return ls

---返回一个对象之后,直接 scrapy crawl blibli -o blibli.csv 即可. 

---

基于管道存储的解析方法:

复杂点 -->

  1-在爬虫文件中进行数据解析

import scrapy
from scrapy_demo1.items import ScrapyDemo1Item# 找到数据所在的URL
# 执行项目
class BlibliSpider(scrapy.Spider):name = "blibli"# allowed_domains = ["blibli.com"]start_urls = ["https://api.bilibili.com/x/web-interface/ranking/v2?rid=0&type=all&web_location=333.934&w_rid=6d0af3cab734841a471545ef10d2a0f0&wts=1724383027"]# 基于管道存储的解析方法def parse(self, response):data = response.json()for d in data["data"]["list"]:aid = d["aid"]desc = d["desc"]title = d["title"]name = d["owner"]["name"]# 类名() ScrapyDemo1Item() 实例化item = ScrapyDemo1Item()# 把解析出来的数据存入到对象中: 对象名.属性名 = 数据# !!!!!!!!!!!# 不能按对象的属性添加. 而要放到字典中, 然后再把字典传给item对象.item["bvid"] = aiditem["title"] = titleitem["desc"] = descitem["name"] = name# 调用yield将数据传递给管道; return则不会传递给管道. return,yieldyield item  # 数据有多少条就提交多少次.

  2-在items.py定义相关属性

(你要保存什么数据,就定于什么属性.)

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.htmlimport scrapyclass ScrapyDemo1Item(scrapy.Item):  # 类名可以自定义，但是必须继承scrapy.Item# define the fields for your item here like:# 类中定义属性，定义几个属性，取决于你bvid = scrapy.Field()  # 字段# 属性名可以自定义,建议和解析时的一样.title = scrapy.Field()desc = scrapy.Field()name = scrapy.Field()

  3-在 爬虫文件中 把 解析的数据存储封装到item类型对象中

 

  4-把item类型对象提交给管道

yield item  # 数据有多少条就提交多少次.

  5-在管道文件中，接收爬虫文件提交过来的item类型对象

  (默认的类只针对保存到txt里面.)

保存到 Excel / 数据库 中 需要自己定义类.

 

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapterclass ScrapyDemo1Pipeline:  # 如果自定义类名,在配置文件中也要修改.# 打开 , 写入 , 关闭.def open_spider(self, spider):print("爬虫开始")# 打开文件: 只能用 open# 添加属性:当对象中没有该属性时,才会添加.  修改属性:当对象中有f属性时.self.f = open("b站2.txt", "w", encoding="utf-8")def process_item(self, item, spider):  # item 是爬取的item, spider 是爬虫对象.# yield 提交多少次,就会执行多少次process_item函数.# print(1)# 保存到记事本文件中    w :覆盖模式   a :追加模式# 浪费资源 ---多次打开和关闭.# with open("b站.txt", "a", encoding="utf-8") as f:#     # item 不是字符串.  write() 方法需要字符串参数.self.f.write(f"{item['bvid']}\n{item['title']}\n{item['desc']}\n{item['name']}")return item  # 是否提交给下一个管道类 (优先级)# print(3)# pass# 一次打开,多次写入:def close_spider(self, spider):self.f.close()print("爬虫结束")

保存到Excel中:

后面的设置别忘了配置一下.

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapterimport openpyxl# 自定义管道类--保存到excel文件中.
class ExcelPipeline:# 创建工作薄对象 1# 选择工作表    1# 添加表头    1# 写入数据    多# 保存文件    1def open_spider(self, spider):self.wb = openpyxl.Workbook()self.sheet = self.wb.activeself.sheet.append(["视频id", "视频标题", "描述", "作者"])def process_item(self, item, spider):self.sheet.append([item["bvid"], item["title"], item["desc"], item["name"]])def close_spider(self, spider):self.wb.save("b站排行榜数据.xlsx")

保存到数据库(mysql)中:

后面的设置别忘了配置一下.

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interface
from itemadapter import ItemAdapter# 保存到数据库中:
import pymysql# utf8mb4 解决表情包问题.
class MySQLPipeline:# 创建连接对象 1# 创建游标对象 1# 插入数据 多# 提交事务 1# 关闭游标 1# 关闭连接 1conn = ""cur = ""def open_spider(self, spider):# 连接数据库self.conn = pymysql.connect(host="127.0.0.1", user="root", password="root", port=3306, database="test")# 创建游标self.cursor = self.conn.cursor()def process_item(self, item, spider):try:# 插入数据sql = 'INSERT INTO blibli VALUES (NULL,"%s", "%s", "%s", "%s")' % (item["title"],item["desc"],item["bvid"],item["name"],)self.cursor.execute(sql)  # 执行后 出现有的数据插不进去,火星文.# 数据库中title字段默认使用的utf8 ,无法保存表情包,-->用utf8mb4.# 提交事务self.conn.commit()except Exception as e:print(sql)print(e)# 回滚事务self.conn.rollback()def close_spider(self, spider):if self.conn != "" and self.cur != "":# 关闭游标self.cursor.close()# 关闭连接self.conn.close()print("结束-------------")

 

---

  6-配置文件中开启管道

---