google网页抓取失败重定向错误服务器配制有误301-302代码

google search console 抓取工具：https://search.google.com/search-console

输入网址添加检查就出现了“网址尚未收录到google"

抓 取提示失败原因是：重定向错误！

首先要查看域名或者网址的重定向到底是重了几次。这里要用到一个命令：curl  命令，

如何使用curl命令查看网址的重定向

电脑快捷键WINDOW+R调出命令框，输入 CMD。

然后在命令框里输入curl命令，这里的命令用要使用curl命令查看网址的重定向，可以使用-L（跟随重定向）和-i（获取完整的响应头信息）选项。这样可以看到HTTP状态码和Location头部来确定是否发生了重定向以及重定向的目标网址。然后确认回车。

curl -L -I http://aiyuai.cn/1.txt

C:\Users\Administrator>curl -L -I http://aiyuai.cn/1.txt
HTTP/1.1 302 Found
Location: https://aiyuai.cn/1.txt
Content-Length: 0
X-NWS-LOG-UUID: 8550120233321173517
Connection: keep-alive
Server: SLT
Date: Sun, 21 Jul 2024 12:53:05 GMT
X-Cache-Lookup: Return Directly

HTTP/1.1 200 OK
Date: Sun, 21 Jul 2024 12:53:07 GMT
Server: Apache
Upgrade: h2
Connection: Upgrade, close
ETag: "40-61d977de8f245"
Content-Type: text/plain
X-Cache-Lookup: Cache Miss
X-Cache-Lookup: Hit From Inner Cluster
Last-Modified: Fri, 19 Jul 2024 10:52:29 GMT
Content-Length: 64
Accept-Ranges: bytes
X-NWS-LOG-UUID: 12232712609388071507
X-Cache-Lookup: Cache Miss

上图代码这里给出的结果说的意思是：

HTTP/1.1 302 Found 是一个HTTP状态码，表示请求的资源被临时移动到了由Location头部指定的URL。在这个响应中，Location头部设置为https://aiyuai.cn/1.txt，表示资源已被移动到这个URL。Content-Length头部设置为0，表示响应体的长度为0字节。

这种响应通常用于重定向。当客户端向服务器发送一个请求时，如果服务器需要客户端访问另一个资源，就会返回这样的响应。在这个例子中，服务器可能希望客户端去访问https://aiyuai.cn/1.txt文件。

如果你遇到了这个响应，通常意味着你需要更新你的请求目标到新的URL。大多数HTTP客户端库会自动处理这种重定向，所以如果你是在使用自动处理重定向的库，通常不需要手动处理这个响应。如果你是在手动处理HTTP请求，你需要更新你的HTTP请求的目标URL为https://aiyuai.cn/1.txt。

去网站后台。或者查找重定向文件（下面有说去哪儿找），去掉重复的重定向。就是跳转好几次的代码。然后再试。第二次反回的结果是这样的：

请确保该文件具备 HTTP 200 OK 状态代码

HTTP/1.1 200 OK
Etag: "40-61d977de8f245"
Date: Sun, 21 Jul 2024 12:53:07 GMT
Server: Apache
Upgrade: h2
Content-Type: text/plain
X-Cache-Lookup: Cache Hit
X-Cache-Lookup: Hit From Inner Cluster
Last-Modified: Fri, 19 Jul 2024 10:52:29 GMT
Content-Length: 64
Accept-Ranges: bytes
X-NWS-LOG-UUID: 10541546235020598868
Connection: keep-alive
X-Cache-Lookup: Cache Miss

下面这里是解释：

这个HTTP响应表示一个成功的请求（200 OK），并提供了关于响应的多个头部字段和消息体。下面是这些头部字段的解释：

• HTTP/1.1 200 OK: 这表示请求已成功，且响应已经准备好返回给客户端。
• Etag: 这是响应的实体标签（ETag）的标识符，用于缓存验证。客户端在后续的请求中可以发送这个ETag来检查资源是否已被修改。
• Date: 这是响应生成的日期和时间。
• Server: 这指示了生成响应的HTTP服务器的软件名称和版本，这里是Apache。
• Upgrade: 这表明服务器支持升级到其他协议（如HTTP/2），但客户端需要明确请求这种升级。
• Content-Type: 这指定了返回数据的MIME类型，这里是text/plain，意味着返回的是纯文本内容。
• X-Cache-Lookup: 这个头部字段不是HTTP标准中的一部分，但它可能是由某个特定的缓存系统（如CDN或代理服务器）添加的。这里它出现了两次，第一次表示缓存命中（Cache Hit），但第二次（Hit From Inner Cluster）可能是指从内部集群中命中了缓存。这可能是不同层级的缓存系统的响应，但第二次出现可能是多余的或者与第一个有某种特定的关联。
• Last-Modified: 这是资源的最后修改日期和时间，客户端可以用它来决定是否从缓存中重新获取资源。
• Content-Length: 这指定了响应体的长度（以字节为单位），这里是64字节。
• Accept-Ranges: 这告诉客户端该资源是否支持范围请求，以及服务器支持哪些范围单位。这里是bytes，表示支持字节范围请求。
• X-NWS-LOG-UUID: 这可能是一个用于日志记录或追踪的自定义头部字段，用于识别或关联特定的请求或响应。
• Connection: 这指定了网络连接的选项。keep-alive表示连接在发送响应后保持打开，以便在同一个连接上发送更多的请求。

注意：X-Cache-Lookup字段第二次出现（Cache Miss）可能是一个错误或者是一个混淆，因为这与第一次出现的Cache Hit相矛盾。通常，一个响应中不会同时包含缓存命中和缓存未命中的信息。如果这是从实际的HTTP响应中复制来的，那么可能需要检查你的缓存系统或代理服务器以了解为什么会出现这种情况。

这里已经没有几跳了。刷新网站。调到google抓取工具页面：

好了。是不是已经在功告成了！！

----------------------------------------------------------------------------------------------------------------------

检查网站根目录下的重定向文件：因为我用的是Apache  ，重定向文件是".htaccess"

重定向文件无论是定的301转。还是302跳转。一个链接只要跳一次。

其中301代表永久性转移(Permanently Moved)，301重定向是网页更改地址后对搜索引擎友好的最好方法，只要不是暂时搬移的情况，都建议使用301来做转址。

302代表暂时性转移(Temporarily Moved )，在前些年，不少Black Hat SEO（黑帽SEO）曾广泛应用这项技术作弊，目前，各大主要搜索引擎均加强了打击力度，像Google前些年对域名之王（Business）以及近来对BMW德国网站的惩罚。即使网站客观上不是spam，也很容易被搜寻引擎容易误判为spam而遭到惩罚

然后打开重定向文件 。要与网站后台的设置里的重定向对比。还要与服务器的重定向设置对比。把多次重复的去掉就好了。

网站后台的设置：这里的重定向要与网站根目录的“.htaccess"文件作比较！

服务器的重定向自行查找一下。因为不同服务器或者CND都有不同的选项，查找对比后去重就好了。