评估：(敏感信息用编号代替，均为真实数据)
先看一下爬虫日志的情况，通过Shell脚本，我们可以分析出。
目录总计被爬行的次数为13000次左右
不重复的目录爬行次数为5500次左右
频道A下的目录几乎被100%抓取过至少1次，频道B的目录抓取也不错，有70%被至少抓过一次。
其余频道下的目录被抓取的覆盖率不到30%
不要觉得这个结果很神奇，其实很多网站都会面对这样的糟糕问题，只要你把数据不断的细分，细分，再细分，总会观察出一些端倪的。
关于日志分析，不要迷信任何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，可以拆分显示出任何你想要的数据，当然，甚至可以连Excel都不要。
然后，我们统计了一下被抓得最频繁的频道A和频道B，目录页的收录率
频道A和B是很让人放心的，说明页面质量没问题，但是余下的收录情况就让人比较担心了。
决策：通过上面的数据评估，我们已经得到了如下结论。
页面质量并不是影响收录的原因。
频道A，B的抓取量异常的高，通过调查了解，原来是首页上的目录页，显示的全是频道A下的目录页，首页又拥有全站最高的权重。频道B拥有比其他频道强大的外链资源，权重也非常高。
除了A, B频道，其他频道的抓取情况不容乐观，抓取入口太少，太深，进而影响了收录情况。
很明显，现在频道A从站内的角度来说太强大了，必须进行一些“劫富济贫”的运动来降低频道A的抓取量，转移到其他频道中去。同时，需要给爬虫提供更多的入口抓取频道页。
现在问题变得清晰起来，我们开始把工作分成两部分：1.提供更多的入口 2.将资源平分给各频道而不是集中在少数几个频道上。
提供入口工作：
1.把目录页的URL制作成sitemap。提交给搜索引擎，并且将其设置为比较高的抓取权重。
2.完善面包屑导航，将面包屑导航划分得更加细致，以提供更多入口
3.在其他产品中推荐目录页
资源平分工作：(一些概念：任意页面都有可能成为爬虫入口，百度爬虫抓取深度有限，页面相对入口越浅，被抓取的概率越高。)
1.原先首页指向的都是频道A的目录页+产品页，将其全部nofollow，确保从首页进入的爬虫，全部抓取到频道页，通过频道页再进入目录页(其实这个不算太重要)
2.原先频道页指向自身的产品页，将其全部nofollow(确保从频道页入口的爬虫，最大程度的抓取目录页)
3.从目录页返回到首页的链接，将其全部nofollow。
4.减少一些页面上无关链接。(什么情况下这么做都是非常有效的。)
现在可以开始动手了。。
成果
这么做到底有什么效果呢，我们来看看修改后1个月后的数据。
目录页的收录率提高了100%!
产品页的收录率也有一定程度的提高，这是归功于目录页对于产品的良好展现。
目录页的SEO表现：
SEO流量占比上升了15%
增长10%的到访关键词数量(新页面的收录)
SEO流量增长了50%以上。(包含一些季节因素)
想认识全国各地的创业者、创业专家，快来加入“中国创业圈”
|
