一个站点的URL链接有多重要?如同人体内无数的血管，若不畅通，就会产生各种问题。Baidu中URL优化的效果与网站的权重无关，但是可以显著提高网站的权重检索，蜘蛛爬虫和传播。尽管我很少发表文章，但是我经常发现，大部分搜索引擎优化的问题都是关于收录的糟糕，权重的高低。我浏览了许多网站，许多基本的工作都是乱糟糟的。就是想换个思路，站长变成蜘蛛爬你的站，相信大多数站长自己也跑不了。本文中，我将仅介绍一些重要的URL优化点。
网站URL地址的一致性
URL一致性是一项重要指标。建议一本书《走进搜索引擎》介绍蜘蛛是一个机器程序，而不是人脑。尽管是个学习过程，但在国内却有数以千计的网站。每一个站点的URL规定不一样。在URL命名规则混乱的情况下，spider如何能有效识别你的内容规范?这里有一个更好的例子：“下载它”。用户可访问网页下载栏。其基本结构为：首页=列表页面=内容页面。
编辑
网址标准化直接影响网站排名的优化。
同一站点有90%的流量来自某一目录，其内容类型和内容质量都一样。确信你在自己站的过程中有一定的经验，百度会给某一目录赋权。鉴于这一点，URL一致性和目录规划变得非常重要。
蜘蛛爬行原理收录深度优先和宽度优先。
网站内链是一个非常重要的优化，可以让蜘蛛更容易抓取网站页面，提升网站页面的收录速度，从而提升网站排名和权重。
Widget：这是我的最爱，我所有的新网站都有这种效果。我自己建了五天站，蜘蛛爬过八百次。结果显示，在当今的平面上，宽度优先使得蜘蛛爬升并返回的效率非常高。URL结构XXX/A/XXX/B/XXX/C/这种叫宽度优化，爬升轨迹：首页-通道页面A-通道页面B-频道页C/主页-频道页A-内容页A1-内容页a2-内容页A*
总而言之。事实上，我们可以看到宽度优先的效率明显高于深度优先的效率。而且蜘蛛的任务类别也比较单一，很容易识别。同一个线程可以爬行几乎相同类型的页面，具有相同的页面样式和外观。蜘蛛不必花费太多时间来分析页面的结构，层次结构很清晰，爬行动物黑洞的问题并不新鲜。
