Python 爬虫 （1）基础 | Request与Response

前言：

在Python编程中，经常需要从互联网上获取或发送数据，这涉及到了网络编程。而在网络编程中，HTTP请求是不可或缺的一部分。Python的Requests包是一个非常强大且易于使用的工具，它能够帮助我们轻松地发送HTTP请求并处理响应。

一、Request包

1、发送请求

Requests包支持所有常见的HTTP请求方法，包括GET、POST、PUT、DELETE等。你可以使用它来向指定的URL发送请求，并获取服务器的响应。

1.1、关键字参数

发送请求时需要携带一些参数，下面是常见的参数：

• url：请求URL。
• params：get请求传递的参数。
• data：post请求传递的参数。
• headers：http协议请求头。
• cookies：客户端保存的cookie值。

1.2、应用示例

2、处理响应

使用Requests包发送一个HTTP请求后，返回的response对象是一个requests.Response类型的实例。这个对象包含了服务器响应的所有信息，如状态码、响应头、响应体等。requests.Response对象的主要属性和方法包括：

• status_code：HTTP状态码，如200表示成功，404表示未找到等。
• headers：响应头信息，是一个字典（或类似字典的对象），包含了服务器返回的所有头部字段。
• text：响应体的字符串形式，通常是对响应体进行解码（如UTF-8）后的结果。
• content：响应体的字节形式（服务器返回的响应内容默认是字节串格式），即原始的二进制数据。如果响应内容是二进制数据（如图片、视频等），则应该直接使用.content属性，而不是尝试解码为字符串。
• json()：如果响应体是JSON格式的，可以使用这个方法将其解析为Python字典或列表。
• encoding：响应体的编码方式，默认为’ISO-8859-1’，但通常会自动根据响应头中的Content-Type字段来设置。如果确信响应是UTF-8编码，但响应头中未指定，可以手动设置response.encoding = 'utf-8'来确保正确解码。在解码过程中，如果遇到无法解码的字节，可能会抛出UnicodeDecodeError异常。
• url：最终请求的URL，可能是重定向后的URL。
• cookies：从响应中提取的Cookies，是一个requests.cookies.RequestsCookieJar对象。