江苏新闻,浙江新闻,江浙地区第一新闻门户网站

忘记密码

Robots里需要写什么内容更有利于优化?

2011-11-01 10:18 作者: 来源: 本站 浏览: 1,007 次 我要评论 字号:

摘要: 前几天一狠心,重新修改了嘉兴SEO博客的robots,写进了很多东西。Robots.txt文件的作用,很多人都知道是为了屏蔽蜘蛛。那为什么要屏蔽蜘蛛?第一当然是有的内容不想被收录。第二就是保护我们的隐私。第三点,就是接下来要着重讨论的,正确写好robots.t...

前几天一狠心,重新修改了嘉兴SEO博客的robots,写进了很多东西。Robots.txt文件的作用,很多人都知道是为了屏蔽蜘蛛。那为什么要屏蔽蜘蛛?第一当然是有的内容不想被收录。第二就是保护我们的隐私。第三点,就是接下来要着重讨论的,正确写好robots.txt有利于搜索引擎的收录。Robots.txt不是屏蔽蜘蛛的吗?怎么还有利于搜索引擎收录了?

蜘蛛跟人一样,精力是有限的,网站上存在着大量的不需要被收录的文件,或者收录了没有意义的文件,不用robots.txt禁止的话,蜘蛛势必会在这些无用的文件上花大量的时间和精力,对有用的文章页面的爬行则少了许多兴趣。如果把无用文件屏蔽掉,让蜘蛛“全心全意”去爬行有用文件,是不是会增加文章的收录率呢?

还有一个文章入口的问题。如果一篇文章有两个或两个以上的入口,你让搜索引擎如何判断,到底那个入口才是你想要的呢?它究竟该给予哪个链接的权重高呢?你让搜索引擎纠结了,那你也很快就会纠结。

下面,我就谈谈我是如何针对我这个zblog博客写robots.txt的。

1、主题模板和主题的图片(IMAGE文件)。除非是你自己开发的,大部分的主题模板都是在网上下载的,所以搜索引擎对这玩意见得多了,只能让其厌恶。不妨写进robots里,蜘蛛不见不烦,岂不更是友好?

2、ADMIN文件。这玩意涉及到隐私,必须写进。

3、CACHE缓存文件。缓存文件里存放的都是自己发过的文章,不需要重复收录。

4、CSS文件。关于网站的构架,相信搜索引擎也不会感兴趣,费劲爬行了却产生不了喜感,也不是什么好事情。

5、WAP文件和wap.asp。如果不想被手机中的搜索引擎收录,建议写进robots。

6、DATA文件。里面存放的是网站备份的内容,写进robots。

7如果一张页面有两个或两个以上的链接,建议屏蔽掉你不想推广,保留重点推广的链接,不管它是静态还是动态,只要你想推广,就要保留。当然,很多SEOer都选择推广静态的。

8、关于网站地图,最好写进robots里,有效引导蜘蛛爬行页面。这可是ZAC 亲自告诉我的哦!

我这里仅仅讨论的是我的博客的写法,不同的站要不同对待,需要写进robots里的东西很多,具体情况具体分析吧!

本文系嘉兴SEO原创文章,原文地址:http://www.zbseoer.com/zblog/robots.html

发表评论

*

* (保密)

😉 😐 😡 😈 🙂 😯 🙁 🙄 😛 😳 😮 mrgreen.png 😆 💡 😀 👿 😥 😎 ➡ 😕 ❓ ❗

Ctrl+Enter 快捷回复

会员登录关闭

记住我 忘记密码

注册会员关闭

小提示: 您的密码会通过填写的"电子邮箱"发送给您.