欢迎来访网创邦,按【Ctrl+D】收藏继续访问本站!

用户登录

当前位置: 网创邦 » 怎么制作网站 » robots.txt怎么写,如何利用robots.txt协议屏蔽百度蜘蛛抓取文件目录

robots.txt怎么写,如何利用robots.txt协议屏蔽百度蜘蛛抓取文件目录

网创邦|2018/05/07|怎么制作网站|暂无评论|314 次阅读|
【文章目录】
  1. 一、什么是robots.txt协议
  2. 二、robots.txt怎么写
  3. 三、robots文件检测

很多朋友在创建网站完成以后,在后期网站SEO优化过程,都会在网站根目录写入robots.txt文件,那么如何利用robots.txt协议告诉百度蜘蛛应该抓取哪些文件应该屏蔽哪些目录链接,今天我们分析一下robots.txt怎么写。

一、什么是robots.txt协议

robots.txt协议就是robots.txt文件的写入规则,通俗的说就是告诉百度哪些文件目录或者链接是否允许抓取或者直接屏蔽,说白了robots.txt协议就是构成SEO优化的一部分

二、robots.txt怎么写

下面分享网创邦robots.txt的写法,每一行都带有注释,方便理解。

注意:这份robots.txt是针对wordpress博客程序,其他建站程序无效!


User-agent: *

// 禁止搜索引擎抓取后台程序文件目录。
Allow: /wp-content/
Disallow: /login
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-includes/

// 禁止搜索引擎抓取评论分页等相关链接。
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*

// 禁止搜索引擎抓取收录trackback等垃圾信息
Disallow: /*/trackback

// 禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

// 禁止搜索引擎抓取站内搜索结果
Disallow: /?s=*
Disallow: /*/?s=*\

// 禁止搜索抓取作者页面
Disallow: /author/

// 禁止搜索抓取动态页面
Disallow: /*?*

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
Disallow: /attachment/

// 禁止搜索抓取go.php页面和go?url相关外链跳转链接
Disallow: /go.php
Disallow: /go?url
// 禁止搜索抓取memcache.php缓存页面
Disallow: /memcache.php

// 告诉百度蜘蛛网站地图网址
Sitemap: http://wangchuangbang.com/sitemap.html
Sitemap: http://wangchuangbang.com/sitemap.xml

三、robots文件检测

写好robots文件后,记得把robots.txt上传到网站根目录,上传完成,下一步就是如何检测网站robots协议是否对网站生效,这是robots.txt存在的根本原因,具体检测方法:

1、百度站长工具robots检测


https://ziyuan.baidu.com/robots/index

2、到爱站robots工具检测


https://tools.aizhan.com/robots

到这里robots.txt文件的写法以及检测方法介绍完毕,一顿操作下来,其实很简单,如果你对robots协议的写法有任何疑问欢迎留言讨论。

未经允许不得以任何形式转载文章 : 网创邦 >> >> robots.txt怎么写,如何利用robots.txt协议屏蔽百度蜘蛛抓取文件目录
分享到:

打赏本站

关闭

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,你说多少就多少

看过《robots.txt怎么写,如何利用robots.txt协议屏蔽百度蜘蛛抓取文件目录》的人还看了以下文章

延伸阅读