光年SEO日志分析系统2.0终生免费版下载：附详解

光年SEO日志分析系统简介：

为了能让SEO的分析与决策更加的科学化，我们推出了这个《光年SEO日志分析系统》。

常用的统计系统如Google Analytics等是在网页中加载一段JS代码来统计数据的。而一旦用户的网页没有打开或者浏览器不能执行JS代码，那就没有统计到这个用户的数据。所以日志分析是一个网站数据分析中的必要补充。 而且有很多的数据用JS代码是不能统计到的。如：网站上出现的各种各样的错误，搜索引擎爬虫在网站上的行为等， 而这些对SEO的分析与决策都很重要。

第二版增加了更多的分析维度，还增加了日志拆分的功能。

下面先来看几个固定的分析维度，下面的数据是这个博客的日志分析数据。

首先是“概要分析”：

这里有各个爬虫“访问次数”、“总停留时间”和“总抓取量”的统计。从上面这个数据可以看出，百度爬虫的抓取深度是不高的：访问1868次，抓取量是2968，平均每次抓取1.59页。这其实是百度爬虫普遍的抓取特征，在绝大部分网站上都是这个规律。抓取深度不高的话，会造成很多层级很深的页面不会被抓取到；以及造成少数页面被反反复复在抓取，浪费了爬虫的时间。这样，很多网站想要在百度上获得收录就成了问题，特别是大中型网站。我所接触的所有大中型网站，在刻意去优化之前，一年下来很多网站至少还有一半的网页没有被百度爬虫抓取到，部分网站甚至更严重。相比之下Google的抓取深度就好很多，总的抓取量也大一些。

这里面比较重要的数据是那个“总抓取量”，因为它影响网站的收录量，进而影响网站的SEO流量。这个“总抓取量”的数据是好还是坏，是要根据每个网站的实际情况来看的。就这个网站来说，它现在有53篇文章，300多个网页，而现在google每天有16484个抓取量，百度有2968个抓取量。如果光看这个数据，那看起来这300多个网页基本上在一天之内应该是能被抓取到的。但是很多大中型网站就不一样。

这里我先要说明一个有些人会混淆的问题。为什么我上面会刻意说明一下文章数量和网页数量呢，这是因为文章数量肯定是不等于网页数量的。不过有些人去查收录量的时候就忽视了这个常识。如某网站的文章量（或称单个资讯数量）是30万，去搜索引擎用site等语法去查询收录量是29万，就觉得自己的收录量差不多了，而实际可能差得很远。

因为单个页面都会派生出很多其他页面的。如果打开某一个文章页面，去数一下里面的URL，除去那些模板上重复的，还是有那么一些URL是只有当前这个页面上才有的，也就是这个页面派生出来的。而一个URL对应一个页面，所以一个网站上拥有的页面数量是这个网站的信息量的好几倍，有时甚至是十几二十倍。

所以在看这个“总抓取量”之前，需要把自己网站内可能拥有的页面数量统计一遍。可以用lynx在线版把每一类型的页面上的URL都提取出来看一看。网页总的数量知道了，再和“总抓取量”做对比，就可以知道这个数据是好还是差了。我觉得基本上，google爬虫的抓取量要是网站页面数量的2倍以上，抓取量才算及格，baidu爬虫就需要更多了。因为实际上这个抓取量里面还有很多是重复抓取的；还有和上一天相比，每天的新增的页面抓取不是很多的。

这三个数据：“访问次数”、“总停留时间”和“总抓取量”，都是数字越高对网站越有利，所以需要想很多办法提高他们。大多数时候看他们绝对值没什么用处，而要看现在的和过去的比较值。如果你能每天去一直追踪这些数据的变化情况，就能发现很多因素是如何影响这些数据的。

以下其他数据也是如此：某个当前数据的值有时候不一定有意义的，但是长期跟踪这个数据的变化就能发现很多因素之间是如何互相影响的。

然后是“目录抓取