scrapy中如何设置应用cookies的方法(3种)-创新互联-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

scrapy中如何设置应用cookies的方法(3种)-创新互联

本人是python3.6

创新互联-专业网站定制、快速模板网站建设、高性价比十堰网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式十堰网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖十堰地区。费用合理售后完善,10多年实体公司更值得信赖。

总的来说,scrapy框架中设置cookie有三种方式。

第一种:setting文件中设置cookie

当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie

当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie

当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉,使用自定义cookie

所以当我使用settings的cookie的时候,又把COOKIES_ENABLED设置为True,scrapy就会把settings的cookie关闭,

而且我也没使用自定义cookie,导致整个请求根本没有cookie,导致获取页面失败。

总结:

如果使用自定义cookie就把COOKIES_ENABLED设置为True

如果使用settings的cookie就把COOKIES_ENABLED设置为False

第二种:middlewares中设置cookie

在middlewares中的downloadermiddleware中的process_request中配置cookie,配置如下:

request.cookies={
'':'',
'':'',
}

网站栏目:scrapy中如何设置应用cookies的方法(3种)-创新互联
分享路径:http://kswsj.cn/article/coidjj.html

其他资讯