时间:2021-05-07 python爬虫 查看: 2341
http和https
http协议:
超文本传输协议,是一个发布和接受HTML页面的方法,端口是80
https 协议:http协议的加密版本,在HTTP下加上了ssl层,端口是443
下面访问的是美团的官网:
可以看到端口是443
URL和RUI
http协议规定了浏览器与服务器进行数据交互过程中必须要选择一种交互方式
在http协议中定义了8中请求方式,常见的是get和post请求
get请求: 一般只从服务器获取数据下来,并不会对服务器资源产生任何的影响。
请求的时候关注:
url请求方式请求头
post请求: 向服务器发送数据(登陆),上传文件等,会对服务器资源产生影响的时候,会使用post请求。
不过有些网站做了反爬虫机制,你去查看信息,也是使用post请求,所以我们写爬虫的时候,一定要分析网站。
http协议中,向服务器发送一个请求,数据分为三部分:
常见的请求头参数:
我们要分析的网站为: movie.douban.com
在页面上的呈现的内容,在Elements都会有相应的元素。
headers 头部信息
session代表的是服务器和浏览器的一次会话过程
session 是一种服务器端的机制,用来存储特定用户的会话所需要的信息,保存在内存,缓存,或者数据库中。
cookie
cooke是由服务器端生成后发送给客户端,cookie是保存在客户端的
cookie原理:
1) 创建cookie
2) 设置存储cookie
3) 发送cookie
4) 读取cookie
到此这篇关于学习Python爬虫前,需要先掌握哪些知识内容的文章就介绍到这了,更多相关学习Python爬虫掌握知识内容请搜索python博客以前的文章或继续浏览下面的相关文章希望大家以后多多支持python博客!