访问规则检查 robots.txt、响应头和页面元标签是否冲突。是否开放特定爬虫应由网站所有者决定。防护与渲染CDN、防火墙或验证码可能阻挡爬虫。仅在脚本运行后出现的正文也可能无法被部分系统获取。复测检查公开网址的状态码、正文与数据。单次抓取成功不代表所有引擎都已收录。