web请求剖析
- 服务器渲染：在服务器那边直接把数据和html整合在一起，统一返回给浏览器（在页面源代码中能看到数据）
- 客户端渲染：第一次请求只要一个html骨架，第二次请求拿到数据，进行数据展示（在页面源代码中看不到数据）
请求头
- User-Agent：请求载体的身份标识(用啥发送的请求)
- Referer：防盗链（这次的请求是从哪个页面来的？反爬中会用到）
- cookie：本地字符串数据信息（用户登录信息，反爬的token）
响应头
- cookie：本地字符串数据信息（用户登录信息，反爬的token）
- 各种神奇的莫名其妙的字符串（一般是token字样，防止各种攻击和反爬）
数据解析
- re正则
-元字符
. 匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线
\s 匹配任意的空白符
\d 匹配数字
\n 匹配一个换行符
\t 匹配一个制表符^ 匹配字符串的开始
$ 匹配字符串的结尾\W 匹配非字母或数字或下划线
\D 匹配非数字
\S 匹配非空白符
a|b 匹配字符a或字符b
() 匹配括号内的表达式，也表示一个组
[...] 匹配字符组中的字符
[^..] 匹配除了字符组中字符的所有字符- 量词：控制前面的元字符出现的次数
* 重复零次或更多次
+ 重复一次或更多次
？ 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次- 贪婪匹配和惰性匹配
.* 贪婪匹配:尽可能多的去匹配
.*? 惰性匹配:尽可能少的去匹配- 用法
-findall: 匹配字符串中所有的符合正则的内容
-finditer: 匹配字符串中所有的内容[返回的是迭代器]，从迭代器中拿到内容需要.group()
-search: 找到一个结果就返回，返回的结果是match对象，拿数据需要.group()
-match: 是从头开始匹配
-re模块中的re.S: 让.可以匹配换行符- 进一步提取
(?P<分组名字>正则)可以单独从正则匹配的内容中进一步提取内容
)