想知道一个网站的情况，那么肯定是离不了对网站进行分析。而分析网站，肯定离不开数据，一般情况我们用gsc就可以了。但是gsc是有一定延迟的，如果延迟个三五天，很可能就会出现问题了。想要即时性的，最好的方法就是直接观察网站日志，目前市面上的网站日分析工具有光年、loghao、LogFileAnalyser等来做蜘蛛分析。
光年日志分析工作、loghao多是用来分析百度系的，而LogFileAnalysery主要分析google的日志。
SEOLogFileAnalyser蜘蛛分析工具SEOLogFileAnalyser分名叫作：SEOLogFileAnalyser
ScreamingFrog
在这里新媒体营销第十八掌第大家推荐的是SEOLogFileAnalyser
ScreamingFrog破解版，有SEOLogFileAnalyser
ScreamingFrog的激活码，这里就直接放百度云盘吧，方便大家进行下载。
因为软件是英文的，怕大家不懂，我就直接简单翻译了一下，别外就是告诉大家，用SEOLogFileAnalyser
ScreamingFrog分析网站日志，应该看哪些东西。
注意：网站日志一般放在网站的根目录，一般名字为logs或log，里面的文件。如图：
logs格式是.gz的压缩包，可以解压一下，解压后用记事本打开，可以看到里在的代码。如图：
web-log如何分析网站日志
一、overview（概况）1.UniqueURLs（唯一的网址）2.UniqueURLsperday（每日唯一的网址）3.Totalevents（总事件）4.Eventsperday（每日活动）5.Averagebytes（平均字节数）6.Averagetimetaken(ms)（平均所用时间（毫秒））7.Errors（错误）8.Provisional(1xx)临时（1xx）9.Success(2xx)成功（2xx）10.Redirection(3xx)重定向（3xx）11.ClientError(4xx)客户端错误（4xx）12.ServerError(5xx)服务器错误（5xx）
二、urls（所有url）
1.html（1）avergebytes观察里面的的大小，如果突然太大或者是太小，如果是突然为0，可能当前页面没有抓到东西（2）timetaken如果加载时间过长，如果内容不是太多，可能是因为考虑是不是代码问题（3）lastresponsecodes（相应结果）果是是正常，如果4xx说明网页，如果是5xx可能是服务问题（4.）如果手机蜘蛛多，说明手机端做的好，或者是手机端优先。2.css（1）.看一下！主要是看扫描时间，时间太长（2）.响应时间，如果时间过长，看一下url是不是可以打开。（3）蜘蛛会扫css，确定网站的样式三、responsecodes（相应结果）(1.)2xx(2.)3xx(3.)4xx(4.)5xx
四、useragent(用户代理)
（1）了解蜘蛛类型（2.）uniqueurls
五、directories(目录)
袋子理论，看一下蜘蛛一共抓了哪些目录，哪些目录抓的多，如果说一些不需要抓的反复抓，可以直接robots屏蔽。袋子理论，一个袋子时面装苹果的数量是一定的，如果装了坏苹果，就装不了好苹果了。网站也是，网站蜘蛛都扫无用的目录了那么就没精力搜其他目录了。例如：wp-admin可以直接屏蔽。六、events(事件)
总：(1)对于新站，最好是每天查看一下，可以知道每天的每个时间段抓取的情况。如果平时是个蜘蛛，而其中某一天蜘蛛很低，甚至为0，哪说明可能网站有可能会被k站。
(2)如果蜘蛛一天比一天多，而且深度也够深，说明网站数据整体不错。这些只是数据，具体优化还是自己优化。可以处理的是、css代码问题(3)页面的处理方式：1.直接到首页2.重新写一个同url的新页面。