本文是我在学习过程中记录学习的点点滴滴,目的是为了学完之后巩固一下顺便也和大家分享一下,日后忘记了也可以方便快速的复习。
爬取网页图片
- 前言
前言
今天学习的主要是关于如何利用Python爬取网页图片知识的理解和应用
# 1.获取网页信息,交给beautifulsoup
# 2.获取页面里面子页面的网址
# 3.将子页面信息给beautifulsoup获取图片下载链接
# 4.将图片下载到文件夹import requests
import time
import random
from bs4 import BeautifulSoupurl = "http://umei.cc/weimeitupian/keaitupian/"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
# 获取网页首页源代码
resp = requests.get(url,headers=headers)
# 根据网页信息查看解码方式
resp.encoding="utf-8"
# print(resp.text)
# 将首页数据交给Beautifulsoup,这样获取元素更方便,直接按照元素标签名来获取信息
main_page = BeautifulSoup(resp.text