若想阻止 SGE 使用你的内容,必须完全屏蔽 Googlebot;仅使用 Google-Extended 无效。
Google-Extended 是谷歌推出的独立产品标记,站长可通过 robots.txt 告知谷歌,禁止将你的网站内容用于 Bard、Vertex AI 及其他 AI 项目,但无法阻止搜索生成式体验(SGE)中的 AI 回答与摘要调用你的内容。
谷歌发言人明确表示:
SGE 属于搜索类实验,因此网站管理员应继续通过 robots.txt 中的 Googlebot 用户代理,以及 NOINDEX 元标签,来管理其在搜索结果(包括 SGE 这类搜索实验)中的内容展示。
为何 Google-Extended 对 SGE 无效
谷歌解释:SGE 是 Google 搜索的一部分,属于搜索功能,因此遵循普通搜索规则。
背景是 AI 已内置于搜索之中,而非外挂功能,是搜索功能的核心组成部分。因此,robots.txt 是赋予发布商控制内容抓取权限的正确方式。
SGE AI 回答示例
已有案例显示:即便网站已通过 robots.txt 禁用 Google-Extended,其内容仍被 SGE 用于生成 AI 回答并展示网站卡片。
Glenn Gabe 发布了 VentureBeat.com 的截图:
该网站已在 robots.txt 中明确禁止 Google-Extended,但内容仍出现在 SGE 的 AI 生成回答中。

对站长的意义
如果你以为设置 Google-Extended 就能阻止谷歌将你的内容用于 SGE AI 回答,那这个想法是错误的。
- Google-Extended 的作用范围:Bard、Vertex AI 及其他非搜索类 AI 产品。
- 阻止 SGE 调用的唯一方式:完全屏蔽 Googlebot,但这几乎是所有站长都不愿接受的做法。