python培训之scrapy处理翻页的方法

　　python scrapy处理翻页的方法

　　说明

　　1、根据scrapy这个框架的运行特点，翻页必须和处理数据分开，不然无法执行。

　　2、确定url地址，构造url地址的请求对象，把请求交给引擎。

　　构造请求

　　scrapy.Request(url, callback)

　　callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析。

　　实例

　　scrapy.Request(url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None,

　　encoding='utf-8', priority=0, dont_filter=False, errback=None, flags=None)

　　以上就是python scrapy处理翻页的方法，希望对大家有所帮助。更多Python学习指路：请关注多测师。https://www.e70w.com/xwzx/