Shopify robots.txt 谷歌审核爬虫放行测试器
遇到 Google Merchant Center 提示“桌面版/移动版落地页无法访问(robots.txt)”?输入公开店铺网址,按 RFC 9309 最长路径优先规则实测 Googlebot、Storebot-Google 与 Googlebot-Image 在各关键路径的放行状态。
仅只读请求公开 /robots.txt 文件 · 无需登录
这个工具做不到什么(检查边界)
- 仅检查 /robots.txt 文件指令,不检测 Cloudflare 质询拦截、密码保护锁店页或 HTML 内的 <meta name="robots" content="noindex"> 标签(整店检查器会一并检查密码锁与 HTTP 状态码)。
- 若刚修改了 robots.txt.liquid,Google Merchant Center 通常需要数小时重新抓取新的规则文件。
常见问题
为什么 Googlebot 放行了,Google Merchant Center 依然报爬虫被拦?
Google 购物审核不仅使用通用 Googlebot,还会专门使用 Storebot-Google 核对价格与结账流程,以及 Googlebot-Image 抓取商品主图。若自定义规则只写了 User-agent: Googlebot 放行而对 User-agent: * 禁抓,Storebot-Google 就会被误伤。