日志分析与谷歌收录优化流程：单日突破10万蜘蛛抓取量复盘

接手一个日访问量约2万的网站服务器日志显示谷歌蜘蛛每天只来8000次。80%的抓取集中在首页和最近10篇文章上。1800篇历史文章过去90天只有23篇被重新抓取。这跟网站内容质量无关是抓取预算被浪费了。问题一Sitemap在喂蜘蛛吃垃圾原有Sitemap里塞了4200个网址包括标签页、分类页、作者页、搜索页。这些页面要么内容重复要么根本没价值。谷歌爬虫按Sitemap来结果一半请求返回的页面不超过200字。直接后果重要文章每天只被爬1~2次而低质标签页占了60%的抓取配额。调整动作重新生成Sitemap只保留文章页article和产品页product共1420个URL标签页和分类页在Robots.txt里用Disallow: /tag/和Disallow: /category/禁止加上changefreqweekly给更新频繁的文章changefreqmonthly给旧文在Google Search Console里提交新Sitemap同时移除旧的3天后日志里标签页的抓取从每天3200次降到47次。这部分预算转移到首页和核心文章上。问题二服务器响应时间让蜘蛛不愿多待日志里200状态码很多但time to first byteTTFB平均值1.8秒。下午高峰期产品页TTFB飙到4.3秒。谷歌官方文档指出TTFB超过1.5秒抓取率下降约30%。我们网站的TTFB刚好卡在边界上。为什么TTFB高WordPress用了缓存插件W3 Total Cache但没开页面静态化MySQL慢查询热门文章每被请求一次就要查数据库取评论数蜘蛛UAMozilla/5.0兼容Googlebot被防火墙限速每次请求要过5条安全规则改动清单开启W3 Total Cache的Page CacheHTML缓存存活期设为7200秒在functions.php里把评论数查询换成transient缓存过期时间3600秒防火墙放行Googlebot的IP段爬虫IP列表来自谷歌官方公开数据跳过安全规则把PHP内存限制从128M提到256Mopcache开启改动后第2天TTFB平均值降到0.3秒高峰也不超过0.8秒。日志显示蜘蛛抓取页面数从280次/小时升到670次/小时。问题三旧文章拖累抓取效率网站运行5年累计2300篇文章。很多旧文已没有搜索流量但仍被蜘蛛定期访问。日志里一篇2017年的食谱每个月被爬4次但过去3年没有任何流量。这样的文章有700篇。它们占用服务器资源也占用蜘蛛有限的时间。做法对超过2年没有流量、没有外链、没有更新的文章在数据库里把lastmod字段改为文章发布日期的前一年。比如一篇2018年发的文章lastmod设为2017-01-01这些文章在前端不显示修改时间用CSS隐藏避免用户看到奇怪日期在Sitemap里只保留最近12个月内更新的文章旧文章完全不出现在Sitemap中结果谷歌对旧文章的抓取频率从每周2~4次降到每月不到1次。而新文章最近3个月内的抓取密度提高4倍。第四步利用“请求索引”工具的正确姿势之前网站运营者每天手动点Request Indexing效果很差。通过Search Console API后台发现同一个URL请求超过3次谷歌会降低优先级。我们改成一篇文章发布后只请求1次而且必须在文章被蜘蛛首次爬取之后24小时再请求。因为如果蜘蛛还没来就请求等于告诉谷歌“这里没内容”。再加上一个细节请求前检查文章是否已通过Sitemap提交。如果已提交不再重复请求。数据变化60天跟踪指标优化前第1天优化后第60天日抓取请求数8,247102,386抓取有效页面占比37%91%服务器响应时间1.8s0.35s旧文章月抓取次数22,0001,200新文章7天内抓取次数4103,860索引率请求后可搜到32%89%第60天日志里出现一次峰值凌晨3点到5点每分钟2400次请求总共28万次。但服务器CPU没超过60%。原因是启用了Nginx的fastcgi_cache配合数据库连接池。2小时内28万次请求无故障。避不过的坑写一个真实的失败尝试第30天时我们试着给每篇文章都加上relcanonical指回自己。但有个开发把canonical写成了主页URL。结果谷歌认为所有文章重复索引量下降了40%。花了两天才恢复。所以canonical必须准确不能批量乱用。另一个教训修改Robots.txt后第二天发现有些重要页面付款成功页、用户中心被误屏蔽了。原因是写成了Disallow: /user忘记了后面没加斜杠。导致所有/user、/users、/user-profile全被屏蔽。还好只影响了一晚后台及时修复。为什么能达到10万不是靠一个技巧是五个细节叠加Sitemap瘦身去掉70%的低价值URL服务器快TTFB低于0.5秒旧文章沉底lastmod回退请求索引克制1次/URL防火墙不拦蜘蛛最后一点很多人忽略网站用的CDN是Cloudflare它默认会对非浏览器UA进行验证。必须把Googlebot的IP段加入白名单跳过JavaScript挑战。不然蜘蛛每次访问都要花5秒完成验证直接放弃。如果只做一件事对一个普通企业主手里可能没有服务器日志权限。那最有效的一步是只给Sitemap里放真正值得抓的页面。拿Excel或数据库导出所有URL人工筛选掉标签、分类、作者、归档、搜索结果的页面。只留产品页和文章页。通常能减少50%-70%的低质抓取。谷歌每天给每个网站的抓取预算不是固定的。如果服务器响应慢、返回无价值页面预算会逐步降低。反之每来一次蜘蛛都看到高质量内容3~7天后预算自动上升。这个网站从8000到10万就是遵循了这个原理。