首页 > python爬虫

学习Python爬虫前必掌握知识点

时间:2021-05-07 python爬虫 查看: 2354

常见的协议

http和https
http协议:
超文本传输协议,是一个发布和接受HTML页面的方法,端口是80

https 协议:http协议的加密版本,在HTTP下加上了ssl层,端口是443

下面访问的是美团的官网:
可以看到端口是443

URL和RUI

常见的请求方式

http协议规定了浏览器与服务器进行数据交互过程中必须要选择一种交互方式
在http协议中定义了8中请求方式,常见的是get和post请求

get请求: 一般只从服务器获取数据下来,并不会对服务器资源产生任何的影响。


请求的时候关注:

url请求方式请求头

post请求: 向服务器发送数据(登陆),上传文件等,会对服务器资源产生影响的时候,会使用post请求。

不过有些网站做了反爬虫机制,你去查看信息,也是使用post请求,所以我们写爬虫的时候,一定要分析网站。

常见的请求头参数:

http协议中,向服务器发送一个请求,数据分为三部分:

  • 把数据放在url中
  • 数据放在body中,(post请求)
  • 数据放在head中

常见的请求头参数:

  • user-agent :浏览器名称
  • referer: 当前这个请求从哪个url过来的
  • cookie:http 协议是无状态的,也就是一个人发送了两次请求,服务器没有能力知道这两个请求是否来自同一个人。

常见的相应状态码

  •  200 请求正常,服务器正常返回数据
  • 301 永久重定向
  • 404 请求的url在服务器上找不到
  • 418 发送请求遇到服务器端的反爬虫,服务器拒绝相应数据
  • 500 服务器内部错误,可能是服务器出现了bug

HTTP的请求相应过程

使用浏览器进行网站分析

我们要分析的网站为: movie.douban.com

  • Elements: 用于分析网站的结构

在页面上的呈现的内容,在Elements都会有相应的元素。

  • Console: 这里会打印招聘信息,警告等等。

  • Sources
  • Network : 在显示页面的时候,产生的所有请求

headers 头部信息

 session 与cookie

session代表的是服务器和浏览器的一次会话过程
session 是一种服务器端的机制,用来存储特定用户的会话所需要的信息,保存在内存,缓存,或者数据库中。

cookie
cooke是由服务器端生成后发送给客户端,cookie是保存在客户端的

cookie原理:
1) 创建cookie
2) 设置存储cookie
3) 发送cookie
4) 读取cookie

到此这篇关于学习Python爬虫前,需要先掌握哪些知识内容的文章就介绍到这了,更多相关学习Python爬虫掌握知识内容请搜索python博客以前的文章或继续浏览下面的相关文章希望大家以后多多支持python博客!

展开全文
上一篇:python爬虫系列网络请求案例详解
下一篇:解决Python访问MySQL数据库速度慢的问题
输入字:
相关知识
Python爬虫基础之爬虫的分类知识总结

来给大家讲python爬虫的基础啦,首先我们从爬虫的分类开始讲起,下文有非常详细的知识总结,对正在学习python的小伙伴们很有帮助,需要的朋友可以参考下

Python爬虫基础讲解之请求

今天带大家了解一下python爬虫的基础知识,文中有非常详细的解释说明,对正在学习python爬虫的小伙伴们有很好地帮助,需要的朋友可以参考下

PyQt5爬取12306车票信息程序的实现

12306是学习爬虫的比较好的一个练手网站。本文主要实现了PyQt5爬取12306车票信息程序,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

Python爬虫之m3u8文件里提取小视频的正确姿势

本文给大家分享如何正确提取m3u8文件里的.ts视频,并合成完整的.mp4格式视频,通过图文实例代码的形式给大家介绍的非常详细,对Python提取m3u8文件小视频感兴趣的朋友一起看看吧