蜘蛛爬取网站的轨迹你真的了解吗?

众所周知，网站内容想要被收录，前提是蜘蛛一定抓取过你网站的内容，了解蜘蛛爬取网站的轨迹有利于我们确定内容更新重点，比如，蜘蛛喜欢爬行产品栏目，我们需要有秩序的更新产品类的内容，这样收录会更加好，有朋友会说，我们怎么知道它抓取了哪些页面，抓取是实际发生的我们能够观察到的过程，在原始日志中，蜘蛛的抓取是有完整记录的，比如：抓取确切时间、状态码、抓取的文件是哪个、抓取了多大文件等等。蜘蛛对页面的抓取就和浏览器读取文件是有效一样的。

爬行只是一个形象的比喻，实际上并不存在蜘蛛抓取文件时发现链接然后立即跟踪过去这样一个过程。蜘蛛抓取文件后存入数据库，程序解析出文件中的链接后将URL存入页面地址库，然后蜘蛛从地址库中按一定规则选取URL进行抓取。蜘蛛不是真的访问页面时看到一个URL就爬过去。

索引指的是将一个URL的信息进行各种整理，如去重、分词等等，然后将关于这个URL的信息存入数据库，被称为索引库。真正用于搜索的是倒排索引，以后有机会再细说。要注意的是，索引库中关于URL的信息不仅是组成页面内容的关键词及其特征(位置、格式等)，还有链接、更新情况等信息。英文索引这个词是index。

收录是SEO们较关心也较常用的词，其实也是4个概念中较不明确的。被收录指的是我们能查到页面被搜索引擎存入了索引库。但后面我们会看到，进入索引库的URL并不一定被抓取过，这和SEO们的直觉可能是不一样的。
下面西安网站维护为您举几个例子。

网站收录不全，页面不收录是SEO们较头疼的问题之一，不收录就谈不上排名、流量了。太多人在博客、论坛里问页面不被收录是什么原因，也给出了域名，但这种问题是没法回答的，即使愿意花时间去诊断也不能回答(除非列出所有可能的原因，等于没回答)，因为缺了一个关键信息：页面被抓取了没有?这只有查原始日志才能知道，看网站是看不出来的，查流量也是查不出来的。了解前面的概念就知道，被抓取不一定被收录，没被收录也不一定意味着没被抓取。

所以如果是被抓取却没有收录，我们应该考虑是否是网站内容出现问题，是否原创？是否含有敏感内容；但如果页面压根就没有被抓取过，则应该往网站和链接结构、搜索引擎不友好的技术障碍、域名权重等方面去找。

从河内到胡志明旅游攻略（畅游越南美景）

    越南是一个美丽的，拥有许多令人惊叹的景点，其中包括首都河内和南部城市胡志明市。如果你计划前往越南旅游，那么这篇将为你提供从河内到胡志明的旅游攻略，帮助你更好地规划你的旅行。 站河内 河内是越南的首都，这个城市拥有悠久的历史和文化底蕴，是一个充满活力的城市。以下是河内的一些必游景点 1. 首先，你不能错过河内的老城区。这里有许多古老的建筑和历史遗迹，包括胡志明的陵墓、岘港塔和一些传统的越南博物馆。...

       宝安信广源通信与虎网站签约网站建设条款 信广源是经深圳市宝安区工商局审核的正规企业，统一社会信用代码：91440300MA5EKGND42。信广源选用虎网站网络实用型网站案例，此案例比经济型多了些功能，如动漫广告图片、在线客服QQ/MSN等聊天工具、顶部侧部二级分类导航、走马灯等功能。信广源位于深圳市宝安区西乡街道新安六路径贝华侨新村十巷8号。 　　深圳市信广源科技有限公司致力于为使用GPS、GLONASS、Galileo、北斗等卫星导...

       怎样制作一个网站在竞争时拥有优势 运营一直做不起来，在多数情况下并不是关键词不正确，也不是个人能力不够，而是在制作网站的时候没有给网站制定合理的定位，不过说到定位，这个概念实过于模糊了，其实定位就是确定好自己的网站是服务那些客户的，网站要制作成什么形式，有一些什么优势能够给人们带来价值，在目前越来越竞争激烈的行业，怎样制作一个网站在竞争时拥有优势呢？ 怎样制作一个网站在竞争时拥有优势 　　网络在行业信息收集方面是任何媒体无法比拟的...

       网站怎样设计能在同行中占上风 企业网站重中之重的事情就是设计，新颖精美的网站风格容易在第一时间吸引客户的目光，客户的目光被锁定就会继续浏览网站，从而给企业创造无数的可能性。然而同行的网站如此多，企业要在从中脱颖而出并不是一件简单的事。因此企业只有在网站里多下功夫，多花心思和价格是很重要的，如此才能更占上风。接下来虎网网站设计企业说说，网站怎样设计能在同行中占上风！ 网站怎样设计能在同行中占上风 　　第一、分析客户需求 　　能够...

       客户看不懂的网站设计有哪些 网站设计出来，就怕客户看不懂，这不就浪费了企业的苦心？常常都说，网站设计的中心就是简洁明了，在设计之前就要分析客户对网站的需求。网站并不是只给企业自己看的，更多的是面向不同的客户。所谓看不懂，并不是说网站功能多么复杂难操作，而是要看网站导航指向是否清晰，栏目排版是否合理，内容可读性是否足好！如果没有从客户解析去分析，那么网站只是给企业孤芳自赏的。接下来虎网网站设计企业说说，客户看不懂的网站设计有哪...

       深圳南山中天科创通信设备和虎网站签下网站建设事宜 中天科创处于深圳市南山区深南路12069号海岸时代公寓东座1304室。中天科创是经深圳市南山区工商局审核的有资质公司，统一社会信用代码：914403007634630387。同时经国家工信部和广东省通信管理局审核通过ICP备案；备案号：粤ICP备13045077号。中天科创选用虎网站定制型网站案例，此类网站主要是按客户要求和提供的风格案例或效果图纸来做，这种属于仿制和定制型网站，是根据功能开发的难...