Google-Extended 无法阻止 Google 搜索生成式体验(SGE)使用你的网站内容

若想阻止 SGE 使用你的内容,必须完全屏蔽 Googlebot;仅使用 Google-Extended 无效。

Google-Extended 是谷歌推出的独立产品标记,站长可通过 robots.txt 告知谷歌,禁止将你的网站内容用于 Bard、Vertex AI 及其他 AI 项目,但无法阻止搜索生成式体验(SGE)中的 AI 回答与摘要调用你的内容。

谷歌发言人明确表示:

SGE 属于搜索类实验,因此网站管理员应继续通过 robots.txt 中的 Googlebot 用户代理,以及 NOINDEX 元标签,来管理其在搜索结果(包括 SGE 这类搜索实验)中的内容展示。

为何 Google-Extended 对 SGE 无效

谷歌解释:SGE 是 Google 搜索的一部分,属于搜索功能,因此遵循普通搜索规则。

背景是 AI 已内置于搜索之中,而非外挂功能,是搜索功能的核心组成部分。因此,robots.txt 是赋予发布商控制内容抓取权限的正确方式。

SGE AI 回答示例

已有案例显示:即便网站已通过 robots.txt 禁用 Google-Extended,其内容仍被 SGE 用于生成 AI 回答并展示网站卡片。

Glenn Gabe 发布了 VentureBeat.com 的截图:

该网站已在 robots.txt 中明确禁止 Google-Extended,但内容仍出现在 SGE 的 AI 生成回答中。


对站长的意义

如果你以为设置 Google-Extended 就能阻止谷歌将你的内容用于 SGE AI 回答,那这个想法是错误的。

  • Google-Extended 的作用范围:Bard、Vertex AI 及其他非搜索类 AI 产品。
  • 阻止 SGE 调用的唯一方式完全屏蔽 Googlebot,但这几乎是所有站长都不愿接受的做法。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注