百度工具robots.txt验证出现302服务器配置有误如何解决

本文作者:小爱哥哥 发布时间:2025年8月9日 浏览次数:75 01时:19分

提前说明:验证域名所在的服务器是apache    服务器设置名为:.htaccess   站点声明文件: robots.txt (若新建,所有名称严格用小写字母,切记

验证步骤一共分为三项。

1.如果文件不存在会跳转404页面,是所有不存在的页面都会跳转,

2.     www302跳转(这里得是301跳)。

3.http--->https   302跳转(如果你有,这里也得是301跳)

 

验证第一步:检查.htaccess文件的配置,(图1为正确配置示示例)

图1服务器文件名:.htaccess

<IfModule mod_rewrite.c>


Options +FollowSymlinks -Multiviews
RewriteEngine on
# 规则:如果请求的文件或目录实际存在,则直接访问(不重写)
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f

# 若文件和目录都不存在,跳转到404页面(确保404.html存在于根目录)
RewriteRule ^ - [R=404,L]

RewriteCond %{HTTP_HOST} ^aishengri.com [NC]
RewriteRule ^(.*) https://www.aishengri.com$1 [L,R=301]


</IfModule>

图2.服务器设置名为:robots.txt   原文件内容如下:(其实这个文件是正确的,只是百度工具读取不到而已)

User-agent: *
Allow: /
Disallow: /js/
Disallow: /css/

Sitemap: https://www.aishengri.com/sitemap.xml

 

验证第二步:检查跳转链是否异常(最简单的命令行,电脑端可测,其它方法自行测试)

用命令行工具(如 curl )模拟百度爬虫请求,查看完整跳转过程,命令如下:(此命令是https地址)
curl -I https://www.aishengri.com/robots.txt

我是用电脑的cmd命令测试了一下。结果如下:

C:\Users\Administrator>curl -I https://www.aishengri.com/robots.txt
HTTP/1.1 200 OK
Date: Tue, 19 Aug 2025 14:37:59 GMT
Server: Apache
Upgrade: h2
Connection: Upgrade, Keep-Alive
ETag: "66-63cb8ae1a3a4d"
Accept-Ranges: bytes
Vary: Accept-Encoding
Keep-Alive: timeout=5, max=1000
Content-Type: text/plain
X-Cache-Lookup: Cache Miss
X-Cache-Lookup: Hit From Upstream Cluster
Last-Modified: Tue, 19 Aug 2025 14:29:12 GMT
Content-Length: 102
X-NWS-LOG-UUID: 3278014214608711409
X-Cache-Lookup: Cache Miss

 

 

http  返回了200  ok   说明请求成功,服务器正常返回robots.txt文件内容

Content-Type: text/plain ,文件类型是纯文本,符合robots.txt的常规格式要求

验证第三步:检查跳转链是否异常

用命令行工具(如 curl )模拟百度爬虫请求,查看完整跳转过程,命令如下:(此命令是http地址)
C:\Users\Administrator>curl -I http://www.aishengri.com/robots.txt
HTTP/1.1 301 Moved Permanently
Location: https://www.aishengri.com/robots.txt
Content-Length: 0
X-NWS-LOG-UUID: 3800354202577508545
Connection: keep-alive
Server: Lego Server
Date: Tue, 19 Aug 2025 14:39:14 GMT
X-Cache-Lookup: Return Directly

HTTP 版本的 robots.txt 已经正确返回 301 永久重定向 到 HTTPS 版本,这符合百度的要求(百度允许 robots.txt 通过 301 重定向到 HTTPS 版本)。

 

但是百度工具验证就是302.如图

百度工具robots.txt验证出现302服务器配置有误如何解决

让服务器.htaccess文件里添加两行代码。

RewriteEngine on 在这行代码之下。添加,让robots.txt文件不参与跳转。就好了。

 

    # 【新增】排除 robots.txt 跳转(优先匹配)
    RewriteCond %{REQUEST_FILENAME} =robots.txt
    RewriteRule ^ - [L]

 

如果这三项都是正常的情况下。百度爬虫可能缓存了之前的 302 响应记录,尚未更新到最新的 301 状态。这种情况很常见,通常需要等待一段时间(几小时到 1-2 天)让百度更新缓存。

否则 请自行检查这三项并修改优化后,等待百度工具的更新缓存。

最后。如果有CDN。清除一下缓存。如果没有。那就耐心等待一下吧。

- THE END -

本文来源:非特殊说明,本站文章均为原创  |  本站部分文章来源于网络,若侵犯了您的权益,请附说明联系删除

共有 0 条评论---(要不...来一句吧,实再不行抽一根也中!)