在当今互联网生态中，AI技术正以前所未有的速度改变着信息获取和处理的方式。尤其是AI爬虫的兴起，正在彻底重塑传统的搜索引擎优化（SEO）策略。根据MERJ和Vercel近期发布的研究报告，AI爬虫的增长趋势与其对网站优化的影响，预示着SEO将迎来新的挑战与机遇。
AI爬虫的定义与现状
AI爬虫是一种专注于互联网内容采集的技术，其主要目的是帮助人工智能工具获取和解析网络数据。以OpenAI的GPTBot和Anthropic的Claude为例，研究中指出，这些AI爬虫在Vercel网络中的请求次数分别达到了5.69亿次和3.7亿次，而Googlebot的请求次数为45亿次。尽管AI爬虫的数量与传统搜索引擎相比仍有差距，但其迅速增长的势头不容忽视。
整体上，AI 爬虫已经成为网络上的重要存在。在过去一个月中，OpenAI 的 GPTBot 在 Vercel 网络上产生了 5.69 亿次抓取，而 Anthropic 的 Claude 紧随其后，达到了 3.7 亿次。
而这 2 个加起来的请求量只占同期 Googlebot 45 亿次抓取的 20%。
规模和分布
Vercel 网络上的 AI 爬虫流量非常大。在过去的一个月：
-
Googlebot：Gemini 和 Googlebot 的抓取次数达到 45 亿次 -
GPTBot (ChatGPT)：5.69 亿次抓取 -
Claude：3.7 亿次抓取 -
AppleBot：3.14 亿次抓取 -
PerplexityBot：2440 万次抓取
GPTBot、Claude、AppleBot 和 PerplexityBot 合计抓取了近 13 亿次，约占 Googlebot 总抓取量的 28%+。
虽然AI 爬虫尚未达到 Googlebot 的规模，但他们已占据网络爬虫流量的很大部分。
AI爬虫在获取与处理网页信息时，呈现出不同于传统搜索引擎的独特行为模式，包括对Java代码的处理能力、内容类型的优先选择以及网页的导航方式。这些特性直接影响了它们如何理解现代网站的内容，更进一步影响了SEO策略的制定。
数据采集与分析方法
为了深入理解AI爬虫的现状，MERJ的研究团队分析了多个使用不同技术架构的网站，包括nextjs.org、ResumeLibrary以及CVLibrary，确保研究结果具备广泛的参考价值。值得注意的是，由于AI爬虫在执行Java方面存在限制，这意味着某些依赖Java渲染的内容可能无法被成功抓取。而这正是网站优化的首要问题，开发者需要通过优化技术来确保重要内容可被所有爬虫获取。
爬虫位置分布
这些 AI 爬虫都在美国数据中心：
-
ChatGPT：得梅因（爱荷华州）、菲尼克斯（亚利桑那州） -
Claude：哥伦布（俄亥俄州）
相比之下，传统搜索引擎通常会将抓取分散到多个地区。例如，Googlebot 在美国七个不同的地区运营，包括达尔斯（俄勒冈州）、康瑟尔布拉夫斯（爱荷华州）和蒙克斯科纳（南卡罗来纳州）。
JavaScript 渲染能力
AI 爬虫在 JavaScript 渲染能力方面存在明显差异。为了验证我们的发现，我们分析了使用不同技术栈的 Next.js 应用程序和传统网页应用。 调查结果一致表明，目前主要的 AI 爬虫都不渲染 JavaScript。这包括：
-
OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot) -
Anthropic (ClaudeBot) -
Meta (Meta-ExternalAgent) -
字节跳动 ByteDance (Bytespider) -
Perplexity (PerplexityBot)
研究结果还显示：
-
Google 的 Gemini 利用 Googlebot 的能力，因此能够完整渲染 JavaScript。 -
AppleBot 通过基于浏览器的爬虫渲染 JavaScript，类似于 Googlebot。它能处理 JavaScript、CSS、Ajax 请求以及完整页面渲染所需的其他资源。 -
Common Crawl (CCBot)，这个经常被用作大语言模型(LLMs)训练数据集的爬虫，不渲染页面。
数据表明，虽然 ChatGPT 和 Claude 的爬虫确实会获取 JavaScript 文件（ChatGPT：11.50%，Claude：23.84% 的请求），但它们并不执行这些文件。它们无法读取客户端渲染的内容。
但请注意，包含在初始 HTML 响应中的内容(如 JSON 数据或延迟的 React Server Components)可能仍会被索引，因为 AI 模型可以解析非HTML内容。
相比之下，Gemini 使用 Google 的基础设施，使其具有与我们在 Googlebot 分析中记录的相同渲染能力，能够完整处理最新的网页应用。
内容类型优先级
AI 爬虫在抓取 nextjs.org 时表现出明显的内容类型偏好。最明显的特征有：
-
ChatGPT 优先考虑 HTML 内容（57.70% 的抓取量） -
Claude 高度关注图片内容（35.17% 的总抓取量） -
尽管不执行 JavaScript 文件，但两种爬虫都花费大量时间在这些文件上（ChatGPT：11.50%，Claude：23.84%）
作为对比，Googlebot 的抓取量（包括 Gemini 和搜索）分布更加均匀：
-
31.00% HTML 内容 -
29.34% JSON 数据 -
20.77% 纯文本 -
15.25% JavaScript
这些模式表明AI 爬虫会收集多样化的内容类型——HTML、图片，甚至将 JavaScript 文件作为文本收集——这可能是为了训练他们的模型以适应各种形式的网页内容。
虽然像 Google 这样的传统搜索引擎已经针对搜索索引优化了他们的抓取模式，但较新的AI 公司可能仍在完善他们的内容优先级策略。
爬虫效率问题
我们的数据显示AI 爬虫行为存在明显的低效现象:
-
ChatGPT 有 34.82% 的抓取遇到 404 页面 -
Claude 表现相似，有 34.16% 的抓取遇到 404 错误 -
ChatGPT 另外还有 14.36% 的抓取在处理重定向
对 404 错误的分析显示，除去 robots.txt 之外，这些爬虫经常尝试获取 /static/ 文件夹中的过期资源。这表明AI 爬虫需要改进 URL 选择和处理策略以避免不必要的抓取。
这些高比例的 404 错误和重定向与 Googlebot 形成鲜明对比 –Googlebot 仅有 8.22% 的请求遇到 404 错误,1.49% 的请求遇到重定向。这表明 Google 在优化其爬虫以抓取真实资源方面确实有更多经验。
流量相关性分析
我们对流量模式的分析揭示了爬虫行为和网站流量之间存在关联性。基于来自nextjs.org 的数据：
-
有较高自然流量的页面会收到更频繁的爬虫访问 -
AI爬虫在 URL 选择上存在不可预测的情况 -
较高的 404 错误率表明AI 爬虫可能需要改进其 URL 选择和验证流程
虽然传统搜索引擎已经开发出复杂的优先级算法，但 AI 爬虫似乎仍在不断发展其网络内容发现方法。
技术局限与优化建议
研究发现，当前主流的AI爬虫通常无法执行网页中的Java代码，导致它们不能访问依赖动态内容的页面。为此，网站所有者应优先考虑采用服务器端渲染（SSR）技术，以确保重要内容、元信息和导航结构能被AI爬虫有效读取。此外，保持清晰方便的URL结构，及时更新网站地图，能够有效减少爬虫请求的失败率。
对于不希望被某些爬虫抓取的内容，使用robots.txt文件合理设置访问规则，则是维护网站安全性和数据隐私的重要措施。网站开发者可以通过这种方式有效控制AI爬虫的访问权限，保护敏感内容不被随意抓取。
AI爬虫与传统搜索引擎的差异
对比传统的搜索引擎爬虫，AI爬虫在内容获取上展示了不同的偏好与行为。AI爬虫更倾向于抓取HTML和图片内容，而传统搜索引擎则采用更为平衡的内容采集策略。研究表明，虽然AI爬虫在数量上已经呈现出相当可观的增长，但在访问效率、内容获取的多样性以及失败率等方面仍需进一步提升。
未来展望与SEO策略调整
随着AI爬虫技术的不断发展，网站优化策略也需随之迭代。网站开发者需要不仅关注如何满足传统搜索引擎的爬取规则，更要考虑如何提升自己网站在AI工具面前的可访问性与可读性。保持技术更新，将SSR等最佳实践融入开发流程，将在日益复杂的网络环境中起到至关重要的作用。
通过与时俱进的策略，网站能够在AI时代中获得竞争优势，增强内容的传播力与曝光度。同时，面对AI工具不断更新的技术能力，开发者需保持敏锐，及时调整优化方向，以适应未来发展的潮流。