2021年Python爬虫面试题分享

发布时间:2021-11-08 14:43:39 人气:146 作者:多测师

2021年Python爬虫面试题分享

  Python工程师的就业方向有很多,包括Python爬虫开发,这是一个非常受欢迎的职位,也是很多公司的热门职位。那么你知道面试Python爬虫开发工程师会问哪些问题吗?小编为大家提供了几个相关的面试题,希望对大家有所帮助。

2021年Python爬虫面试题分享

  一、Scrapy和scrapy-redis有什么区别?

  Scrapy是Python爬虫的框架之一,高效且高度可定制,但不支持分布式;scrapy-redis是一套基于redis数据库并运行在scrapy框架上的组件,它允许scrapy支持分布式策略。slaver端共享master端redis数据库中的item队列、请求队列、请求指纹采集。

  二、Scrapy框架的运行机制是什么?

  从start_urls获取第一批URL并发送请求,请求由引擎交给调度器进入请求队列。请求完成后,调度器将请求队列中的请求传递给下载器,获取请求对应的资源,然后将响应交给自己编写的解析方法进行提取处理。

  1如果提取出需要的数据,直接下发到管道文件中进行处理;

  2如果提取了URL,则继续前面的步骤,直到请求队列中没有请求为止,程序就可以结束了。

  三、Post和get的区别是什么?

  post:请求无法缓存,post请求不会保存在浏览器浏览记录中,post请求的url不能保存为浏览器书签;没有长度限制;请求会将请求的数据放在http请求包的正文中;Post比get更安全。

  Get:从指定服务器获取数据,Get请求可以被缓存;它将保存在浏览器的浏览历史记录中;get请求的URL可以保存为浏览器书签;请求有长度限制;get请求主要用于获取数据。

  以上内容为大家介绍了2021年Python爬虫面试题,希望对大家有所帮助,如果想要了解更多Python相关知识,请关注多测师。https://www.e70w.com/

返回列表
在线客服
联系方式

热线电话

17727591462

上班时间

周一到周五

二维码
线