提前说明:验证域名所在的服务器是apache 服务器设置名为:.htaccess 站点声明文件: robots.txt (若新建,所有名称严格用小写字母,切记)
验证步骤一共分为三项。
1.如果文件不存在会跳转404页面,是所有不存在的页面都会跳转,
2. www302跳转(这里得是301跳)。
3.http--->https 302跳转(如果你有,这里也得是301跳)
验证第一步:检查.htaccess文件的配置,(图1为正确配置示示例)
图1服务器文件名:.htaccess
<IfModule mod_rewrite.c>
Options +FollowSymlinks -Multiviews
RewriteEngine on
# 规则:如果请求的文件或目录实际存在,则直接访问(不重写)
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f
# 若文件和目录都不存在,跳转到404页面(确保404.html存在于根目录)
RewriteRule ^ - [R=404,L]
RewriteCond %{HTTP_HOST} ^aishengri.com [NC]
RewriteRule ^(.*) https://www.aishengri.com$1 [L,R=301]
</IfModule>
图2.服务器设置名为:robots.txt 原文件内容如下:(其实这个文件是正确的,只是百度工具读取不到而已)
User-agent: *
Allow: /
Disallow: /js/
Disallow: /css/
Sitemap: https://www.aishengri.com/sitemap.xml
验证第二步:检查跳转链是否异常(最简单的命令行,电脑端可测,其它方法自行测试)
curl -I https://www.aishengri.com/robots.txt
我是用电脑的cmd命令测试了一下。结果如下:
C:\Users\Administrator>curl -I https://www.aishengri.com/robots.txt
HTTP/1.1 200 OK
Date: Tue, 19 Aug 2025 14:37:59 GMT
Server: Apache
Upgrade: h2
Connection: Upgrade, Keep-Alive
ETag: "66-63cb8ae1a3a4d"
Accept-Ranges: bytes
Vary: Accept-Encoding
Keep-Alive: timeout=5, max=1000
Content-Type: text/plain
X-Cache-Lookup: Cache Miss
X-Cache-Lookup: Hit From Upstream Cluster
Last-Modified: Tue, 19 Aug 2025 14:29:12 GMT
Content-Length: 102
X-NWS-LOG-UUID: 3278014214608711409
X-Cache-Lookup: Cache Miss
http 返回了200 ok 说明请求成功,服务器正常返回robots.txt
文件内容
Content-Type: text/plain
,文件类型是纯文本,符合robots.txt
的常规格式要求
验证第三步:检查跳转链是否异常
C:\Users\Administrator>curl -I http://www.aishengri.com/robots.txt
HTTP/1.1 301 Moved Permanently
Location: https://www.aishengri.com/robots.txt
Content-Length: 0
X-NWS-LOG-UUID: 3800354202577508545
Connection: keep-alive
Server: Lego Server
Date: Tue, 19 Aug 2025 14:39:14 GMT
X-Cache-Lookup: Return Directly
HTTP 版本的 robots.txt
已经正确返回 301 永久重定向 到 HTTPS 版本,这符合百度的要求(百度允许 robots.txt
通过 301 重定向到 HTTPS 版本)。
但是百度工具验证就是302.如图
让服务器.htaccess文件里添加两行代码。
RewriteEngine on
在这行代码之下。添加,让robots.txt文件不参与跳转。就好了。
# 【新增】排除 robots.txt 跳转(优先匹配)
RewriteCond %{REQUEST_FILENAME} =robots.txt
RewriteRule ^ - [L]
如果这三项都是正常的情况下。百度爬虫可能缓存了之前的 302 响应记录,尚未更新到最新的 301 状态。这种情况很常见,通常需要等待一段时间(几小时到 1-2 天)让百度更新缓存。
否则 请自行检查这三项并修改优化后,等待百度工具的更新缓存。
最后。如果有CDN。清除一下缓存。如果没有。那就耐心等待一下吧。
本文来源:非特殊说明,本站文章均为原创 | 本站部分文章来源于网络,若侵犯了您的权益,请附说明联系删除
如若转载,请注明出处:https://www.aiyuai.cn/archives/894.html | 爱与爱资源网-传递的不仅仅是知识
共有 0 条评论---(要不...来一句吧,实再不行抽一根也中!)