当前位置:380元网站建设 虎网站 > seo 优化 > 正文

SEO:禁止搜索引擎收录的方法

发布日期:2015-11-12

    1. 什么是robots.txt文件?
    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会*先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
    请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
    2. robots.txt文件放在哪里?
    robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,*先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

网站 URL                                                   相应的 robots.txt的 URL

http://www.w3.org/                                     http://www.w3.org/robots.txt

http://www.w3.org:80/                                 http://www.w3.org:80/robots.txt

http://www.w3.org:1234/                            http://www.w3.org:1234/robots.txt

http://w3.org/                                                 http://w3.org/robots.txt


    3. 我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
    如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。
    4. 禁止搜索引擎跟踪网页的链接,而只对网页建索引
    如果您不想搜索引擎追踪此网页上的链接,且不传递链接的权重,请将此元标记置入网页的 部分:
   
    如果您不想百度追踪某一条特定链接,百度还支持更—有效的控制,请将此标记直接写在某条链接上:
    sign in
    要允许其他搜索引擎跟踪,但仅防止百度跟踪您网页的链接,请将此元标记置入网页的部分:
   
    5. 禁止搜索引擎在搜索结果中显示网页快照,而只对网页建索引
    要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的部分:
   
    要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
   
    注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。
    6. 我想禁止百度图片搜索收录某些图片,该如何设置?
    禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现。
    7. robots.txt文件的格式
    "robots.txt"文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:
   :
    在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:
    User-agent:
    该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受 到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效, 在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User- agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
    Disallow:
    该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
    Allow:
    该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头 的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
    需要特别注意的是Disallow与Allow行的顺序是有意义的,robot会根据先进个匹配成功的Allow或Disallow行确定是否访问某个URL。
    使用"*"and"$":
    Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
    "$" 匹配行结束符。
    "*" 匹配0或多个任意字符。

注:好的搜索引擎会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,搜索引擎会对robots中所写的文件和您不想被抓取和收录的目录做—有效匹配,否则robots协议无法生效。


英国签证中心人工客服电话(兰州办英国签证的地方?)

    南京英国签证中心官网? 没有。只有深圳有。深圳英国签证申请中心地址:深圳市罗湖区深南东路5016号京基100大厦A座26楼2601室;邮编:518001。 英国签证费用? 因签证类型不同而异,综合来看可达数千至上万元不等。其中,普通访问签证与短期商务签证费用为95英镑,学生签证费用为348英镑,工作签证费用从610英镑至2324英镑不等。此外,还需根据申请人的国籍、所在地、签证有效期等因素支付不同...

       网站建设的较终目的是用户体验 要想做好网站的用户体验,就要利用搜索引擎来提高网站的知名度,因为搜索引擎是用户访问网站的主要渠道之一,而网站是用户与企业相互沟通的桥梁,无论是搜索引擎,还是对于用户而言,都必须注重用户体验。只有满足了用户需求,网站建设才能够呈现出更多的价值,即为企业带来转化以及提升形象。要想做好用户体验,*先需要针对性做好网站结构,考虑用户的浏览访问行为,越好的网站结构越能够引导用户进入到相关页面,进而达到网站存...

       宝安合众致达仪器仪表和虎网科技签订网站建设事宜 合众致达是经深圳市宝安区工商局审核的有资质公司,统一社会信用代码:91440300342752333R。合众致达处于深圳市宝安区沙井街道文体中心16楼。合众致达选用虎网站企业商务型网站案例,其功能具备实用型所有配置外、特别值得关注的是增设了SEO深度优化,不管是内页还是标题都能够独立和个性化设置关键词和长尾词,更适合进行全站seo优化。   合众致达聚集了一批有着十多年专业从事能源计量与能效管理技...

       做网站需了解的网站建设知识 在如今的社会,网站建设公司非常多,使很多客户无法认清哪家网站建设公司才是真正的有实力,很难做出选择。其实我们只需要弄明白以下几个网站建设知识,就可以很好的辨认哪家公司才是真正的适合你。 1,先确认你的需求和你对网站建设的费用和日程计划。自己千万不要什么都不知道,什么都不明白。 2,了解市场主流技术和要求,目前市场有三种,一是老的0成本ASP+ACCESS组和,另一种是PHP+MYSQL组合,还有一...

       深圳南山爱慎商业管理和虎网科技签订网站建设事宜 爱慎是经深圳市南山区工商局审核的有资质公司,统一社会信用代码:914403003496183645。同时经国家工信部和广东省通信管理局审核通过ICP备案;备案号:粤ICP备15090189号。爱慎选用虎网站经济型入门级网站案例,其功能比较简单的程序,广告单图(无动漫),页面较简单,适合小微企业产品展示型网站。爱慎位于深圳市南山区南山街道大新社区丁字巷18号701。   为企业提供信息化整体方案(包...

       企业网站制作时怎样提高美观度 这是看脸的时代,浏览一个网站,首先吸引客户的是精致的设计,而后才能够谈到其内容质量,因此提升推广效果,首当其冲的就是做好网站网站设计客户有千差万别,每个人都有自己独到的审美观念,那么企业网站制作时怎样提高美观度呢? 企业网站制作时怎样提高美观度   在制作之前,做一次用户分析,分析的方法可以选用客观数据与主观推断,通过网站的访问流量,分析出客户的属性,作为制作网站的指导方向,结合企业营销需求进行合...

最新模板
少儿英语培训机构网站建设 培训公司网站建设
成人自考网站建设 成人培训网站制作设计版面
智能家居摆设设计网站建设 智能家居装修企业网站建设
铜螺母,铜螺丝,螺栓,螺钉工厂网站建设
废气处理设备,如活性炭吸附箱、RTO蓄热式氧化处理设备、光氧等离子复合设备 低温等离子设备 光氧催化设备等网企业网站建设
图文阅读