利用百度蜘蛛referer找到报错

大家应该都知道百度已经全站https并取消referer关键词显示了，那么“百度蜘蛛referer”又是什么？有什么妙用吗？艺龙SEO负责人刘明发现通过百度蜘蛛referer可以快速定位部分站内url的报错（4xx或者5xx）原因。随后社区版主飞鹰正义也对文章做了补充修正，现推荐给各位同学们。
什么是百度蜘蛛的referer?
百度蜘蛛的referer，是指当百度蜘蛛抓取某一个URL的时候，在HTTP头中带的Referer字段。请注意，这个定义和百度较近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求，百度而去除的是用户发起的。如果百度蜘蛛抓取百度*页的logo，会发起这样的请求：

  上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到相应的记录。目前发现只有当百度抓取一个网页的同时，又抓取了网页中的：img、js和css才会带上referer字段。这部分额外的抓取量，应该不会占用百度分配的抓取配额，属于“买1送1”。
对于站长的意义
  如果你发现有一批URL（仅限于img,js,css）报错（4xx或者5xx），但是一直找不到入口在哪，也就是说你不明白百度蜘蛛是从哪里发现这些错误URL的。这个字段可以帮助你迅速定位。
举个例子:
  比如我们的SEO日志分析系统中可以看到，符合下面这种URL Pattern的路径每天有6万到10万的抓取而且全部报404。

  从发现问题至今过了1个月，查遍整个网站我也没找到入口。今天偶然仔细查了一下日志，想起了百度蜘蛛的referer，马上就能定位问题了。这些404的URL来自于一套没人维护也没人关注的页面（往往是这样）。收录流量都不错。由于较近公司图片系统更新，图片的URL全部更改了，但这套页面并没有跟着更新。
如果站点没有记录referer怎么办?

iis请在这里勾选“cs(Referer)”：

apache请参考:

apache log配置“Combined Log Format”章节

apache log配置的官方链接

       Nginx请参考：

nginx log配置

nginx log配置的官方链接

深圳宝安创宏盛仪器仪表和虎网科技签订网站建设事宜

    创宏盛是经深圳市宝安区工商局审核的有资质公司，统一社会信用代码：9144030056151030X9。同时经国家工信部和广东省通信管理局审核通过ICP备案；备案号：粤ICP备11106880号-1。创宏盛在深圳市宝安区龙华街道人民路东侧和平大厦A栋504。创宏盛选用虎网站定制型网站案例，此类网站主要是按客户要求和提供的风格案例或效果图纸来做，这种属于仿制和定制型网站，是根据功能开发的难易度来评估报...

       网站建设策划需要掌握的知识 一般来说网站建设策划需要具备的知识包括以下几点： 1.良好的文案写做能力 想法再好，观点再新颖，如果无法用文字很好的表达出来，那么将是一件很可惜的事。文案写做能力是一个策划师较基本的素质要求。所以一定要加强这方面的锻炼。 2.熟悉互联网经济 无论是企业网站建设策划需要具备的知识还是专业的互联网企业，在一定程度上对需要对互联网经济有一定的把握。 3.具有良好的分析能力和逻辑思维能力 网站策划中，我们...

       企业建站的因素有哪些 一，要明确网站定位。 　　关于个人网站来说，由于咱们自身的精力有限，不可能做一个高大全的网站，那么咱们就需要切入自己的利益，并紧密结合市场挑选竞争激烈度并不是很高的细分范畴，这样就可以有用提高市场竞争力，从而为未来的发展翻开空间。 　　二，域名和主机的挑选。 　　网站空间就好比咱们的住宅，假如住宅不安全或许不够安稳，那么网站天然很难安稳的运营。另外网站的空间还需要结合自己预备运营方历来明确，比如美...

       创建一个成功的网站该做什么？ 创建一个成功的网站究竟该做些什么？ 近年来，网站摇身一变成为了更好的交流场所和绝佳的信息来源地。Boss们不仅想让网站品牌化，同时也希望游客能在浏览时找到有价值的信息。SO，如果一个网站不能提供精准且广泛的信息给目标顾客，顾客们就会转而去其他的网站。 网站的另一个目的在于让生活更便利，让工作更快捷。它通过放大双向沟通的方式，让游客对此留下深刻印象，从而产生依赖心理，并愿意长久的通过网站的查询方式来...

       网站开发涉及的十方面 一个网站成功与否与建站前的网站开发有着极为重要的关系。在开发网站前应明确建设网站的目的，确定网站的功能和规模、投入费用，进行必要的市场分析等。只有详细的规划，才能避免在网站建设中出现的很多问题，使网站建设能顺利进行。 　　网站开发是指在网站建设前对市场进行分析、确定网站的目的和功能，并根据需要对网站建设中的技术、内容、费用、测试、维护等做出规划。网站开发对网站建设起到计划和指导的作用，对网站的内容...

       网站面包屑导航存在的误解及注意事项 面包屑导航的作用就是让用户知道当前网页的位置，这可以帮助用户在网站中快速找到返回路径，当然站在搜索引擎的角度也是利于蜘蛛爬取页面，接下来给大家讲解面包屑到时存在的误解及使用事项。 一、面包屑的使用范围 一些网站建设者认为，当子页面的内容分类较少时，不需要使用面包屑导航，事实上这是一个错误的想法。小编认为，只要一个页面中有两个以上的分类页面，就必须使用导航。毕竟，用户在点击分层页面时总是需要返...