当前位置 博文首页 > wang785994599的博客:Scrapy常见异常以及解决方法

    wang785994599的博客:Scrapy常见异常以及解决方法

    作者:[db:作者] 时间:2021-09-06 18:53

    Request.url is not modifiable, use Request.replace() instead

    不能直接在process_response直接修改url,需要调用方法

    request._set_url(url)

    <twisted.python.failure.Failure <class 'OpenSSL.SSL.Error'>

    错误原因一般是http网站使用了https代理,更换http代理即可,此异常经常发生在重定向后的页面,可以禁止重定向

    allow_redirects=False

    ?

    cs