2核1G3M服务器88一季度

腾讯云,阿里云百度云等 折扣价→点我←

禁止所有爬虫搜索引擎蜘蛛收录网站任何页面的robots终极写法 discuz 教程

游客1 游客组

禁止所有爬虫搜索引擎蜘蛛收录网站任何页面的robots终极写法:
User-agent: Baiduspider
Disallow: /

User-agent: Googlebot
Disallow: /

User-agent: MSNBot
Disallow: /

User-agent: Baiduspider-image
Disallow: /

User-agent: YoudaoBot
Disallow: /

User-agent: Sogou web spider
Disallow: /

User-agent: Sogou inst spider
Disallow: /

User-agent: Sogou spider2
Disallow: /

User-agent: Sogou blog
Disallow: /

User-agent: Sogou News Spider
Disallow: /

User-agent: Sogou Orion spider
Disallow: /

User-agent: ChinasoSpider
Disallow: /

User-agent: Sosospider
Disallow: /


User-agent: yisouspider
Disallow: /

User-agent: EasouSpider
Disallow: /

User-agent: *
Disallow: /
懒人包:直接上传覆盖网站根目录的robots.txt:下载地址(点击数字即可下载)→:26419
站长窝论坛版权声明 1、本帖标题:禁止所有爬虫搜索引擎蜘蛛收录网站任何页面的robots终极写法
2、论坛网址:站长窝论坛
3、站长窝论坛的资源部分来源于网络,如有侵权,请联系站长进行删除处理。
4、会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。
5、站长窝论坛一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
6、本帖由游客1在站长窝论坛《程序综合区》版块原创发布, 转载请注明出处!
评论
最新回复 (0)
返回
发新帖