uWSGI 是在像 nginx 、 lighttpd 以及 cherokee 服务器上的一个部署的选择。更多选择见 FastCGI 和 独立 WSGI 容器 。 你会首先需要一个 uWSGI 服务器来用 uWSGI 协议来使用你的 WSGI 应用。 uWSGI 是一个协议,同样也是一个应用服务器,可以提供 uWSGI 、FastCGI 和 HTTP 协议。
1、使uwsgi服务器响应代码大于或等于300的响应重定向到nginx以使用error_page指令进行处理
uwsgi_intercept_errors on;
2、nginx简单过滤爬虫
#禁止爬虫工具的抓取
if ($http_user_agent ——* "python|curl|java|wget|httpclient|okhttp|Scrapy") {
return 503;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent —— "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) {
return 403;
}
3、http请求重定向到https
#http跳转https
set $flag 0;
if ($host = "wxapp.zyqcn.cn") {
set $flag "${flag}1";
}
if ($scheme = "http") {
set $flag "${flag}2";
}
if ($flag = "012") {
rewrite ^(.*) https://$host$1 permanent;
}
4、将错误页状态码重设为200,并返回指定内容
error_page 502 404 405 500 =200 /error;
#error最好不要带后缀,之前写了个error.html,然后下面想返回成json,结果各种设置不起作用,后来搞了半天之后才发现是后缀的锅
location /error {
default_type application/json;
#add_header name value always;#always是可选参数,已经存在这个header的情况下使用不会覆盖
add_header Access-Control-Allow-Origin *;
return 200 '{"code": 0,"msg":"您的请求暂时无法处理","more": $status}';
}