队室网站收录锐减,修改了robots.txt

少先队室
1214
文章
64
评论
2013 年 10 月 22 日21:05:37 评论 1,802 1445字阅读4分49秒
原创文章集

此文为站长技术学习笔记,不喜欢的可以跳过。

前天刚写了一篇网站收录上升,流量大增云云的文章,没曾想,今天百度收录大抽疯,“队室”网站排名全无,收录由原先的500多篇锐减到175篇。

队室网站百度收录图示

队室网站百度收录图示

虽然大部分的原创文章还在,但更可气的是,好好的文章不收录,对一些毫无意义的feed栏目的单页面评论却收录了不少。(这不是抽疯,还是什么?)

无意义的评论页面

无意义的评论页面

还好,之前有学过屏蔽收录的方法,就是要用到robots.txt。

robots.txt是搜索引擎的蜘蛛在来到网站首先要查看的一个文件,由于网站有些内容是不想被搜索引擎抓取的,比如网站的模板文件,css文件,JS文件,管理界面等等,这时候就要设置一些robots.txt文件来使蜘蛛遵循这一些协议。

参考了一下网络技术文章,作如下笔记,以备忘!

robots.txt的写作方法及注意事项:

1.robots.txt必须上传到你的网站根名录下,在子目录下无效;

2.robots.txt,Disallow等必须注意大小写,不能变化;

3.User-agent,Disallow等后面的冒号必须是英文状态下的,冒号后面可以空一格,也可以不空格。

4.User-agent表示搜索引擎开放目录:星号*代表对所以的搜索引擎采用下面的规则,Google的spider是Googlebot,百度是Baiduspider;

5.Disallow:表示不允许搜索引擎访问和索引的目录;

6.Allow:指明允许搜索引擎访问和索引的目录。

robots.txt在wordpress博客中的具体用法:

1.阻止搜索引擎收录wordpress博客评论及评论分页,您只需要在robots.txt文件中加入下面的语句即可:

Disallow: /comments 限制抓取评论

Disallow: /*?replytocom= 限制抓取每一个评论页面

上面的两行代码即可阻止搜索引擎收录您博客的评论及评论分页内容了!(需要区分url是动态链接还是静态链接,队室网站注

2.阻止搜索引擎收录wordpress博客的feed订阅页面,防止出现搜索引擎索引中出现重复页面。博客都有一个订阅整站的feed,每个文章分类,每篇文章也分别有一个feed,feed页面和网站页面内容基本相同,如果feed页面没有被禁止访问,可想而知,这将会产生大量的重复页面。(这也就是队室网站现在出现的问题

Disallow: /feed 限制抓取feed内容

Disallow: /*/*/feed 限制抓取文章分类和单独文章文章页面的feed

经过修改,现在队室网站的robots.txt文件是这样写的:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?
Disallow: /feed
Disallow: /*/feed/
Disallow:/*/*/feed/

同样需要提醒是的要将robots.txt文件传到网站的根目录,wordpress博客可能不会生效,可以下载安装KB.robots.txt的插件辅助设置。

虽然只是一个个人博客,不靠这个工作或是吃饭,还是希望能早点恢复正常收录,就这样吧!

  • 冬瓜哥哥
  • 微信扫一扫
  • weinxin
  • 队事集
  • 微信公众号扫一扫
  • weinxin
队室网站在百度的收录量急速下降 队室闲谈

队室网站在百度的收录量急速下降

最近可能是网站之前改版的后果显现,队室网站在百度的收录量急速下降,当然因为之前有过经历,所以也见怪不怪了。但为了网站的曝光率,还是有必要自我总结,写点东西记录下来。 1.看百度的脸色 在中国做网站当然...
队室网站为什么要设立“各地队讯”栏目 队室闲谈

队室网站为什么要设立“各地队讯”栏目

“队室”网站已经建立了2年8个月23天(创建于2012年9月15日),期间经历了诸多次的改版,因为站长是个细节癖,技术控。细节癖很多时候是累己不累他人,但也有好处,比如细节癖做网站与升旗仪式注意点。 ...
看到这样的评论,我只能默默地拉黑你了! 队室闲谈

看到这样的评论,我只能默默地拉黑你了!

从队室网站最新改版以来,又重新恢复了部分文章发表评论后才能查看的功能。个人新网站权重较低,比不上综合类大站,网站有互动性评论,可以吸引百度等搜索的持续关注,总之,并不是为了故弄玄虚而搞出的花样。 当然...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: