日志里面的PetalBot是华为花瓣搜索引擎蜘蛛。
Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)
它疯狂的爬数据,给服务器带来不小压力,如果不需要可以在网站目录的robots.txt文件禁止petalbot访问。
通过robots.txt协议禁止
User-agent: PetalBotDisallow: /
在apache禁止蛛蛛访问,在修改网站目录下的.htaccess,添加如下代码即可:
RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|Indy Library|Alexa ToolbarCoolpadWebkit|Feedly|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC]RewriteRule ^(.*)$ - [F]
Nginx屏蔽爬虫访问站点方法:
#禁止 Scrapy 等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403;}#禁止指定 UA 及 UA 为空的访问if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa ToolbarCoolpadWebkit|Feedly|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) { return 403;}#禁止非 GET|HEAD|POST 方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) { return 403;}