Skip to content
软件与网络技术

监控全绿但Googlebot进不来:先查请求身份再动防火墙

浏览器能打开不等于爬虫能抓取。按请求身份、边缘事件与源站日志定位拦截,再放行验证过的爬虫。

By Editorial Team• •GenSoft Online

网站监控一片绿,Search Console里却是抓取失败。很多人第一反应是关防火墙试试。先别动:网站未收录,不等于Cloudflare拦截了Googlebot。先把具体URL、请求时间、客户端IP和安全事件对上,只有确认某条边缘规则、挑战或源站防护挡住了相应请求,才能针对它调整。全站关闭防火墙通常既没有必要,也不能解决canonical、noindex或内容问题。

浏览器正常不等于爬虫可达

浏览器监控走的是普通用户路径:正常IP、完整Cookie、执行JS。而爬虫请求的身份、来源网络、请求头都不同,可能命中为用户准备的挑战页、限流规则或地域策略。响应200也不等于内容可访问,返回的可能是挑战页或登录页,状态码不能代替内容可访问性。所以排查的第一步永远是拿爬虫视角的证据,而不是拿浏览器截图当结论。请求链各层的定位方法见Cloudflare拦截爬虫的排查说明,动手前可先对照。

定位拦截在哪一环

在Search Console对受影响URL检查索引记录,再执行实时测试,记录抓取失败信息和时间。去Cloudflare的安全事件中查询同一时段、主机及路径,查看动作、规则标识、产品来源和Ray ID。最后对照源站日志:边缘拒绝的请求可能根本没有到达源站。Cloudflare有对应拦截事件,检查命中的规则、匹配范围和爬虫识别结果;源站直接返回403而边缘无拦截,检查源站WAF、访问控制和应用权限;5xx或连接超时,排查源站可用性、连接、TLS和负载,不能自动归因为防火墙;正常跳转到最终200,检查跳转目标与链路,重定向本身不是拦截证据。

核实爬虫身份

User-Agent可以伪造,“包含Googlebot”只能说明请求声称的身份。要经过身份核实,确认来源网络确实属于Google,再放行。命令行换成Googlebot的UA可以辅助发现按UA分支的问题,却不能模拟真实Google网络来源,更不能独自证明修复成功。只看UA就加白名单,可能把伪造请求一起放进来。

放行后验证与记录

调整规则后,观察经过身份核实的真实爬虫后续请求,看拦截是否消失、抓取是否成功。为CSS、图片和必要脚本也检查可访问性,HTML能打开而关键内容资源受阻,渲染仍可能不完整。手机与桌面响应有差异时,核对差异是否符合预期。抓取成功后,Google仍需决定索引和搜索展示。记录修复时间、原规则、验证URL和后续日志,不要承诺解除拦截后固定几小时收录。若仍未索引,继续检查站点地图、规范地址与页面内容。

教学示例(虚构):某站新上线后收录停滞,排查发现安全事件中同一URL被一条地域规则挑战,源站日志无该请求。缩小规则范围并验证爬虫身份后放行,三天后抓取恢复。以上为演示。

先定层,再核身份,最后验证。防火墙是保护,不是开关机键。