当前位置 博文首页 > wang785994599的博客:scrapy如何在中间件修改请求url
最近在做汽车之家爬虫的时候,访问频繁会被重定向到人机验证页面,此时request的请求url已经发生改变,直接更换ip然后return request的话会重新访问人机验证页面,所以需要在下载中间件中修改url。 直接修改的话,会抛出此异常 因为相应回来之后,无法对requests的url进行直接修改,但是scrapy提供了_set_url方法来修改。