官网 GEO 化改造：让 AI 爬虫看得懂你

官网 GEO 化改造：让 AI 爬虫看得懂你 · 章节首图

本文速读：

官网是唯一 100% 由你控制的信源，AI 爬虫抓取它的频率和权重远高于任何自媒体账号。官网不合规，其他信源做得再好都事倍功半。
三件硬件必须到位：robots.txt 放行 AI 爬虫、sitemap.xml 主动喂 URL、Schema.org JSON-LD 结构化数据告诉 AI 你是谁。
静态站（Astro / Next.js / Hugo）在 GEO 时代天然占优——纯 HTML、加载快、结构化好、易维护。

一、为什么官网在 GEO 里权重最高

在 T2 分层里官网只是”品牌信源”之一，但从 AI 爬虫的抓取行为看，它常常是权重最高的一个信源。原因有 4 条：

主体权威：域名 = 你的身份证。AI 会把”这家公司的官网自己说”视为最高一级的自证信息源。
抓取自由度高：AI 爬虫抓官网不受平台反爬限制，能拿到完整的、原汁原味的信息。而自媒体平台大多有反爬护栏，AI 只能读到片段。
结构化程度高：官网可以做到”每页只讲一个主题、H1/H2/H3 严格分层、JSON-LD 结构化数据”，这是自媒体平台上做不到的。
可控更新：官网想改就能改，不用等公众号 / 头条号 / 抖音的平台审核。

基线：一个连 robots.txt 都设错的官网，等于给 AI 立了一堵墙。GEO 做得再多也翻不过来。

二、robots.txt：AI 爬虫的第一道门

robots.txt 是网站根目录下的一个纯文本文件（如 https://www.ahax.net/robots.txt），依据 IETF 制定的 RFC 9309 告诉爬虫哪些页面可以抓、哪些禁止。

2.1 最常见的两个错误

错误一：整站禁止抓取（很多建站工具的默认设置）

User-agent: *
Disallow: /

这就是整站黑洞。上线前必须检查这个文件——如果看到 Disallow: /，立刻改成 Disallow:（空）。这一条设置每年在中小企业官网上翻车的比例仍然不低，堪称 GEO 路上最普遍的”隐形雷”。

错误二：只放行搜索引擎，没放行 AI 爬虫

只允许 Baiduspider / Googlebot 的官网，AI 爬虫（GPTBot、ClaudeBot、PerplexityBot、Bytespider 等）会被默认规则挡在外面。这一层需要显式声明。

2.2 GEO 时代的推荐配置

# https://www.ahax.net/robots.txt

# ===== 主流搜索引擎 =====
User-agent: Baiduspider
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: 360Spider
Allow: /

User-agent: Sogou web spider
Allow: /

# ===== 主流 AI 爬虫（关键） =====
User-agent: GPTBot                # OpenAI 训练与检索
Allow: /

User-agent: OAI-SearchBot         # ChatGPT Search
Allow: /

User-agent: ChatGPT-User          # ChatGPT 用户主动访问
Allow: /

User-agent: ClaudeBot             # Anthropic Claude 训练
Allow: /

User-agent: Claude-Web            # Claude 网页版实时访问
Allow: /

User-agent: PerplexityBot         # Perplexity AI
Allow: /

User-agent: Google-Extended       # Google Gemini / Bard
Allow: /

User-agent: Applebot              # Apple 搜索
Allow: /

User-agent: Applebot-Extended     # Apple Intelligence 训练
Allow: /

# ===== 国内主流 AI 爬虫 =====
User-agent: Bytespider            # 字节跳动 / 豆包
Allow: /

User-agent: YisouSpider           # 神马搜索 / UC 系
Allow: /

User-agent: Baiduspider-render    # 百度渲染型爬虫 / 文心
Allow: /

# ===== 通配兜底 =====
User-agent: *
Allow: /

# ===== 敏感目录禁止 =====
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /private/
Disallow: /*.pdf.download$

# ===== Sitemap 声明 =====
Sitemap: https://www.ahax.net/sitemap.xml
Sitemap: https://www.ahax.net/sitemap-news.xml

验证方法：把上述 URL 直接在浏览器打开，能看到内容就是生效。再用 technicalseo.com/tools/robots 或 Google Search Console 的”robots.txt 测试工具”跑一次，验证具体 UA 是否能抓某个 URL。

2.3 关于要不要屏蔽 AI 爬虫

新闻媒体行业（NYT、WSJ、Reddit）为了商业化会屏蔽 GPTBot / ClaudeBot。但中小企业做 GEO 的目标是”被 AI 引用”，策略完全相反：能放尽放。屏蔽等于亲手把自己从 AI 的候选池里删除。

三、sitemap.xml：主动告诉 AI 你有哪些页

sitemap.xml 是列出网站所有重要 URL 的文件，让爬虫无需盲抓。协议见 sitemaps.org。

3.1 基础结构

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.ahax.net/</loc>
    <lastmod>2026-01-15</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://www.ahax.net/services/small-taxpayer/</loc>
    <lastmod>2026-01-10</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.9</priority>
  </url>
  <url>
    <loc>https://www.ahax.net/blog/how-to-choose-agent-bookkeeping/</loc>
    <lastmod>2026-01-08</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.7</priority>
  </url>
  <!-- ... -->
</urlset>

3.2 提交到各大站长平台（收录加速最有效手段）

百度搜索资源平台（ziyuan.baidu.com）→ 添加站点 → 提交 sitemap → 开启普通收录（免费）+ 快速收录 API（新站有免费额度）。
360 站长平台（zhanzhang.so.com）→ 提交 sitemap。
搜狗站长平台（zhanzhang.sogou.com）→ 提交 sitemap。
Bing Webmaster Tools（www.bing.com/webmasters）→ 提交 sitemap。这一步很多人漏做，但 Bing 是 ChatGPT Search 与 Copilot 的底层索引，直接影响 ChatGPT / Copilot 引用你。
Google Search Console（search.google.com/search-console）→ 提交 sitemap。Google 索引是 Gemini / Perplexity 的重要底层信源之一。

3.3 自动化生成

WordPress：安装 Yoast SEO / Rank Math 插件自动生成。
Astro：@astrojs/sitemap 官方集成，一行配置。
Next.js：next-sitemap 或 App Router 内置的 sitemap.ts。
Hugo：config.toml 自带 sitemap 生成。
手工站：用 xml-sitemaps.com 免费生成（500 页以内免费）。

四、Schema.org JSON-LD 结构化数据（GEO 的秘密武器）

Schema.org 是 Google / Microsoft / Yahoo / Yandex 共同维护的结构化数据词汇表——用 JSON-LD 告诉爬虫”这个页面表达的是什么类型的信息”。AI 时代它的价值远大于 SEO 时代：AI 能直接把结构化数据填进它的回答，几乎等于”你自己给 AI 递答题卡”。

4.1 每个页面首页必备的 Organization + LocalBusiness

放在 <head> 里：

官网 GEO 化改造：让 AI 爬虫看得懂你 · 概念图 1

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "LocalBusiness",
  "name": "成都啊哈克斯科技有限公司",
  "alternateName": "啊哈克斯",
  "url": "https://www.ahax.net",
  "logo": "https://www.ahax.net/assets/logo.png",
  "image": "https://www.ahax.net/assets/office.jpg",
  "description": "专注中小企业软件定制、独立站开发、AI 智能客服、跨境电商技术服务，2015 年成立，服务过 5000+ 家企业。",
  "foundingDate": "2015-03",
  "founder": {
    "@type": "Person",
    "name": "张三"
  },
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "锦江区红星路三段 1 号 XX 大厦 8 楼 802 室",
    "addressLocality": "成都",
    "addressRegion": "四川",
    "postalCode": "610000",
    "addressCountry": "CN"
  },
  "telephone": "+86-400-xxx-xxxx",
  "email": "contact@ahax.net",
  "openingHours": "Mo-Fr 09:00-18:00",
  "priceRange": "¥¥",
  "sameAs": [
    "https://mp.weixin.qq.com/xxx",
    "https://www.zhihu.com/org/xxx",
    "https://www.douyin.com/user/xxx",
    "https://baike.baidu.com/item/xxx"
  ],
  "aggregateRating": {
    "@type": "AggregateRating",
    "ratingValue": "4.9",
    "reviewCount": "1247"
  }
}
</script>

sameAs 字段是 GEO 的核心武器——把所有 T1 / T2 信源的 URL 都填进去，AI 就能明确”这些账号都是同一个主体”，直接完成交叉验证。这一字段的价值经常被忽视，实测填不填、填几条，AI 对主体一致性的判断结果差异明显。

4.2 服务页面用 Service Schema

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Service",
  "serviceType": "跨境电商卖家软件定制",
  "provider": {
    "@type": "LocalBusiness",
    "name": "成都啊哈克斯科技有限公司"
  },
  "areaServed": ["成都", "重庆", "昆明"],
  "offers": {
    "@type": "Offer",
    "priceCurrency": "CNY",
    "price": "200",
    "priceValidUntil": "2026-12-31",
    "description": "跨境电商卖家软件定制服务，200 元 / 月起"
  }
}
</script>

4.3 FAQ 页面必用 FAQPage Schema

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "FAQPage",
  "mainEntity": [
    {
      "@type": "Question",
      "name": "软件定制多少钱一个月？",
      "acceptedAnswer": {
        "@type": "Answer",
        "text": "跨境电商卖家 200 元/月起；SaaS 团队 500 元/月起；跨境电商 800 元/月起。具体价格取决于月开票量、票据数量、是否需要出口退税等因素。"
      }
    },
    {
      "@type": "Question",
      "name": "新注册公司需要马上做账吗？",
      "acceptedAnswer": {
        "@type": "Answer",
        "text": "需要。营业执照颁发后 30 日内必须完成域名备案，次月即需申报（可零申报）。"
      }
    }
  ]
}
</script>

验证：把页面 URL 粘到 Google 的 Rich Results Test 或 Schema.org Validator 里，看是否能识别、有无错误。

4.4 案例 / 攻略页面用 Article + Review + HowTo

案例文章：Article 或 NewsArticle；客户评价段落用 Review + Rating。
攻略文章（第 12 章的”实操攻略”类）：HowTo 结构化数据能让 AI 直接把每一步骤读进摘要。

五、AI 爬虫 UA 白名单（服务器 / CDN 层）

除了 robots.txt，服务器层的 WAF / CDN 反爬规则也可能挡住 AI 爬虫。业内做法：

Cloudflare 用户：在 Security → Bots 里，关闭”AI Scrapers and Crawlers”的默认屏蔽（Cloudflare 2024 年 7 月开始默认屏蔽 AI 爬虫），改为允许 GPTBot / ClaudeBot / PerplexityBot。
阿里云 / 腾讯云 WAF：白名单加上主流 AI 爬虫的 UA 字符串。
Nginx 反爬规则：不要用宽泛的 if ($http_user_agent ~ "bot|spider|crawl") { return 403; } ——这条会把 AI 爬虫也一并拦下。

验证方法：用 curl -A "GPTBot" https://www.yourdomain.com/ 看是否返回 200 和完整 HTML。多试几个 UA。

六、静态站最佳实践（Astro / Next.js / Hugo）

为什么静态站在 GEO 时代占优：

HTML 直接就是 AI 可读的最终文本，不用等 JS 渲染。
加载快，AI 爬虫抓取效率高（爬虫超时率下降）。
Markdown 天然结构化，H1/H2/H3 层级清晰。
部署到 Vercel / Cloudflare Pages / Netlify 便宜甚至免费。

Astro 站的 GEO 化 Checklist

每个页面有唯一 H1，含核心关键词。
使用 @astrojs/sitemap 自动生成 sitemap.xml。
在 public/robots.txt 里手写 AI 爬虫白名单。
<head> 里注入 Organization / LocalBusiness JSON-LD。
每篇博客文章用 Article schema + <time> 标签标注发布时间。
所有 <img> 有 alt 属性。
页面加载速度 ≤ 3 秒（Lighthouse Performance > 90）。
内链丰富（每篇文章至少内链到 2–3 篇相关文章）。
URL 结构语义化：/services/small-taxpayer-bookkeeping/ 优于 /page?id=123。

Next.js App Router 的 GEO 化 Checklist

app/sitemap.ts 自动生成 sitemap（Next.js 官方支持）。
app/robots.ts 输出 robots.txt。
每个页面用 generateMetadata 输出完整的 <title> + <meta description> + OpenGraph + JSON-LD。
服务端渲染（RSC / SSG）优先于纯客户端渲染——AI 爬虫抓取的是 HTML 而非 SPA。

七、性能与可访问性（AI 抓取时的隐藏加分项）

加载速度 ≤ 3 秒（Lighthouse Performance > 90）。爬虫超时会跳过。
HTTPS 全站（HTTP 网站会被现代爬虫降权）。
图片 alt 标签（AI 看不到图，只看 alt）。
移动端友好（响应式设计，Google Mobile-Friendly Test 通过）。
URL 语义化：/services/small-taxpayer-bookkeeping/ 而不是 /service?id=1。
404 页面自定义，返回正确的 HTTP 404 状态码。不要 200 + “找不到”文案，AI 会误以为你有这个页面。

八、AI 引用流量的识别与统计

GEO 做到一定程度，会有用户从 AI 答案里的链接直接跳转到你的官网——这一部分流量是最纯粹的 GEO 转化。识别这批流量的方法很朴素：看 referrer 字段。以下域名进来的流量都算 AI 引用流量：

官网 GEO 化改造：让 AI 爬虫看得懂你 · 概念图 2

chat.openai.com
chatgpt.com
www.perplexity.ai
gemini.google.com
chat.deepseek.com
www.doubao.com
yuanbao.tencent.com
tongyi.aliyun.com
kimi.moonshot.cn
copilot.microsoft.com

在 GA4 / Umami / Plausible / 百度统计里新建”AI 引用渠道”作为独立渠道，每周记录访问量、跳出率、平均停留时长、转化数。这一组数据是 GEO 效果最直接的商业化证据，也是本教程第 15 章数据监测的核心指标。

外链带 UTM 参数：如果你在知乎 / 百家号 / 公众号里链回官网原文，一律加 ?utm_source=zhihu&utm_medium=geo&utm_campaign=article-slug 这类参数，方便区分”AI 直接引用”和”用户从自媒体链过来”。

九、官网 GEO 化的常见坑

以下几个是行业里高频翻车、但又不容易被检查工具直接扫出来的问题：

JS 渲染的单页应用（SPA）：如果官网首屏内容依赖 JavaScript 才能渲染出来，很多 AI 爬虫抓不到——即使 Googlebot 现在能跑 JS，其他 AI 爬虫大多只抓静态 HTML。改造方案：接入 SSR / SSG，或使用 Prerender.io 之类的动态渲染服务。
图片型标题：把 H1 做成一张 banner 图（有些视觉设计流派喜欢这么做），AI 完全读不到。改造方案：H1 一定用 <h1> 文字标签，视觉交给 CSS 背景。
正文只放视频，没有文字稿：抖音 / 视频号里视频有用，但官网上光放视频等于零内容。改造方案：每个视频页面都要有配套的文字稿 + 章节时间戳 + 要点总结。
Ajax 加载的”加载更多”列表：博客文章列表如果用”点击加载更多”实现，爬虫抓不到第二页以后的内容。改造方案：改成传统分页（/blog/page/2/），或提供 sitemap.xml 补齐。
noindex 标签误加：某些建站工具在开发模式下会全站加 <meta name="robots" content="noindex">，上线时忘了删。改造方案：上线前 curl 抓首页 HTML，grep noindex 一次。
URL 里含大量参数：?id=1&type=a&sort=desc 这种 URL 爬虫抓取积极性低。改造方案：改成语义化的静态 URL。
canonical 标签错乱：多个页面 canonical 都指向首页，等于告诉爬虫”所有页面都是首页的副本”。改造方案：每个页面的 canonical 指向自己。
服务器返回压缩失败：Cloudflare / Nginx 的 Brotli 压缩配错会导致 AI 爬虫收到乱码。改造方案：curl -H "Accept-Encoding: br,gzip" -I 检查返回头。

十、上线前 10 分钟自检清单

[ ] robots.txt 存在且允许 AI 爬虫（curl 验证）
[ ] sitemap.xml 存在且返回 200
[ ] 已提交到 百度 / 360 / 搜狗 / Bing / Google 5 大站长后台
[ ] 首页含 Organization + LocalBusiness JSON-LD
[ ] FAQ 页含 FAQPage JSON-LD
[ ] sameAs 字段填了至少 5 个 T1/T2 信源 URL
[ ] Cloudflare / WAF 白名单已放行 GPTBot / ClaudeBot
[ ] 首页 Lighthouse Performance > 90
[ ] 所有页面唯一 H1，含核心关键词
[ ] llms.txt 已生成（可选但建议）

参考来源

robots.txt 协议规范（RFC 9309） — IETF · 2022
robotstxt.org 原始协议说明 — Robots Exclusion Protocol
Sitemaps XML 协议 0.9 — sitemaps.org · 官方规范
Learn about sitemaps — Google Search Central · 官方文档
Overview of Google crawlers and fetchers — Google Search Central · 官方文档
Overview of OpenAI Crawlers（GPTBot / OAI-SearchBot / ChatGPT-User） — OpenAI · 官方文档
Does Anthropic crawl data from the web?（ClaudeBot） — Anthropic · 官方支持文档
Bing Webmaster Guidelines — Microsoft Bing · 官方文档
Schema.org 词汇表 — W3C / Schema.org · 官方规范
HowTo 结构化数据类型 — Schema.org · 词汇表
百度搜索资源平台 · 站长学院 — 百度 · 官方文档
The /llms.txt file 提案 — Answer.AI · 2024

✅ 本章正反馈信号

用 curl -A "GPTBot" 抓自己首页能返回 200 + 完整 HTML。
Google Rich Results Test 显示首页的 Organization / LocalBusiness / FAQPage 结构化数据全部识别。
百度搜索资源平台里能看到 sitemap 提交成功、有效收录数逐周上涨。
在豆包 / DeepSeek / 元宝里问”介绍一下 XX 公司”，AI 的回答基本按你 JSON-LD 里定义的字段返回。
官网首页 Lighthouse Performance > 90，Accessibility > 95。
3 个月后官网自然搜索流量占总流量比重上升，AI 引用流量（referrer 是 chat.openai.com、chat.deepseek.com、yuanbao.tencent.com 等）开始出现在数据面板。