先看状态码,再看返回内容
浏览器会自动跟随重定向,也可能显示带错误状态码的文本。看到一行发布商记录,还不能判断抓取器收到了什么。先发一次 GET 保留第一跳,再发一次 GET 跟随跳转,分别检查状态码和响应正文。
curl -sS -D - -o /dev/null http://example.com/ads.txt
curl -fsSL -D - https://example.com/ads.txt
替换成自己的裸域后再对 www 重复检查。裸域的 HTTP 到 HTTPS 可以是一次重定向,但最终应返回 200,并能读到纯文本发布商记录。遇到 404,先排查文件和路由。返回 200 却收到站点首页或验证挑战时,先查静态资源回退和边缘安全规则。
这次实际看到了什么
实测中,裸域和 www 的 HTTP 请求分别跳转到同主机的 HTTPS 地址,随后都返回了同一条当前发布商记录。换用广告抓取器的 User-Agent 测试也读到了文件。后台仍显示 Not found,所以能确认的是公开响应正常,后台上次抓取是否到达还要看平台记录。
文件正常之后查哪里
确认 robots.txt 没有禁止抓取这个路径,再检查后台关联的是哪个域名、文件中的编号是否对应当前账号。若规则按来源 IP 拦截,仅更换本地请求的 User-Agent 无法复现真实抓取,需用边缘事件日志核实。公开文件已正确返回时,保持地址稳定,并等待平台重新抓取。