首页    >    新闻资讯    >   如何通过robots.txt进行wordpress博客的优化

如何通过robots.txt进行wordpress博客的优化

  通过WordPress建立的网站,里面的robots相比大家应该也都不陌生,一些新手站长对robots的写法设置存在一些问题,通常只有合理的设置才有利于优化网站。那么,如何通过robots.txt设置进行wordpress博客的优化了,下面就为大家进行分析。

  一、robots.txt的基本概念:

  robots.txt文件是存放在网站的根目录下面的ASCII编码得文本文件,其就是告诉搜索引擎的漫游器,作用是释放信息告诉搜素引擎哪些内容是不需要进行获取的,那些是需要获取的。该文件也是规定spider在网站中抓取的范围,也是对网站的一些隐秘文件进行保护,并且防止站点的页面被网站重复的抓取。

  robots.txt目前也就是一种协议,并不是什么标准,因此搜素引擎robots.txt协议中的指令参数存在多种看待。

  二、robots.txt使用注意事项:

  1、对大小写指令存在区分,未知的指令则被忽视;

  2、指令是一行代表一个,出现的隔行与空白是被忽略的;

  3、“#”之后出现的字符参数也都会被忽略;

  4、存在独立的User-agent规则,将会被通配“*”User agent的规则排除在外;

  5、可以将sitemap文件的链接写入进去,有利于搜索引起蜘蛛对整站的内容进行爬行;

  6、协议中尽量不要出现Allow指令,不同的搜索引擎对Allow指令不同位置的看待也是不同的。

  三、Wordpress的robots.txt优化设置

  1、User-agent: *

  进行网站robots.txt指令设置是需要面向所有的spider程序,就需要使用通配符“*”。若存在独立的User-agent的指令规则,需要尽量将指令放到通配“*”User agent规则的上方去。

  2、Disallow: /wp-admin/

  Disallow: /wp-content/

  Disallow: /wp-includes/

  屏蔽spider捉取程序文件,同时也节约了搜索引擎蜘蛛资源。

  3、Disallow: /*/trackback

  在每一个文章页面的默认代码中,都会有一个trackback的链接,如果不进行屏蔽,被蜘蛛进行捉取了,网站的页面就将会出现问题。

  4、Disallow: /feed

  Disallow: /*/feed

  Disallow: /comments/feed

  在网站的头部代码中有一个feel链接,其主要的作用是提示用户可以对本站进行订阅,为了防止网站的权重被瓜分,通常会在网站的RSS输出和网站地图等,进行屏蔽搜索引擎捉取这些链接。

  5、Disallow: /?s=*

  Disallow: /*/?s=*

  这是进行屏蔽捉取站内的搜索结果了,当站内不存在这些链接,站外可能会有,如出现了收录就会导致与TAG等一些页面的内容差不多的现象。

  6、Disallow: /?r=*

  对留言链接的插件所留下来的出现变形的链接进行屏蔽。若无该插件的网站的可以不要安装该插件。

  7、Disallow: /*.jpg$

  Disallow: /*.jpeg$

  Disallow: /*.gif$

  Disallow: /*.png$

  Disallow: /*.bmp$

  对图片文件的捉取进行屏蔽,这样可以有效地节约宽带资源,这几条不同型号的指令可根据自身喜好进行设置。

  8、Disallow: /?p=*

  对短连接捉取进行屏蔽。如头部默认的短连接、百度等搜索引擎蜘蛛都会进行捉取,虽然使用了301跳转到固定连接上,但是还会造成资源的浪费。

  9、Disallow: /*/comment-page-*

  Disallow: /*?replytocom*

  对留言的信息内容捉取进行屏蔽。

  10、Disallow: /a/date/

  Disallow: /a/author/

  Disallow: /a/category/

  Disallow: /?p=*&preview=true

  Disallow: /?page_id=*&preview=true

  Disallow: /wp-login.php

  对一些其他的链接进行屏蔽,避免出现重复内容和隐私问题。

  10、Sitemap:http://***.com/sitemap.txt

  网站地图的地址指令,txt和xml格式是现在主流的。是为了让搜索引擎知道网站的地图地址,方便对全站的内容进行捉取。其中Sitemap的S实需要进行大写的,地图地址也要使用绝对地址。

  好了,以上就是如何通过robots.txt进行wordpress博客的优化的详细内容,希望可以帮助刚接触wordpress博客的同学。

分类:新闻资讯

标签:, ,

* 版权声明:作者WordPress啦! 转载请注明出处。