PetalBot是什么,华为在做搜索引擎吗

运营推广 投稿 71800 0 评论

PetalBot是什么,华为在做搜索引擎吗

日志里面的PetalBot是华为花瓣搜索引擎蜘蛛。

Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

它疯狂的爬数据,给服务器带来不小压力,如果不需要可以在网站目录的robots.txt文件禁止petalbot访问。

通过robots.txt协议禁止

User-agent: PetalBotDisallow: /

在apache禁止蛛蛛访问,在修改网站目录下的.htaccess,添加如下代码即可:

RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|Indy Library|Alexa ToolbarCoolpadWebkit|Feedly|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC]RewriteRule ^(.*)$ - [F]

Nginx屏蔽爬虫访问站点方法:

#禁止 Scrapy 等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {     return 403;}#禁止指定 UA 及 UA 为空的访问if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa ToolbarCoolpadWebkit|Feedly|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {     return 403;}#禁止非 GET|HEAD|POST 方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) {    return 403;}

编程笔记 » PetalBot是什么,华为在做搜索引擎吗

赞同 (86) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽