日志文件分析器

软件介绍

Screaming Frog Log File Analyser允许你上传你的日志文件,确认搜索引擎机器人,确定抓取网址和分析搜索机器人的数据和行为。

识别抓取的视图并准确分析
Googlebot 和其他搜索机器人能够抓取的网址、抓取时间和频率。

发现抓取频率
深入了解哪些搜索机器人最频繁地抓取、每天抓取多少 URL 以及机器人事件的总数。

查找损坏的链接和错误
发现搜索引擎机器人在抓取您的网站时遇到的所有响应代码、损坏的链接和错误。

审核重定向
查找搜索机器人遇到的临时和永久重定向,这可能与浏览器或模拟爬网中的重定向不同。

提高抓取预算
分析您最多和最少抓取的网站 URL 和目录,以识别浪费并提高抓取效率。

识别大页面和慢页面
查看下载的平均字节数和识别大页面或性能问题所需的时间。

查找未抓取和孤立页面
导入 URL 列表并与日志文件数据匹配,以识别 Googlebot 尚未抓取的孤立或未知页面或 URL。

合并和比较任何数据
导入并将任何数据与“URLs”列与日志文件数据进行匹配。因此,导入爬网、指令或外部链接数据以进行高级分析。