GPTBot、豆包爬虫会抓你的网站吗?robots 设置指南
一句话前置:GPTBot 是 OpenAI 爬虫;豆包爬虫标识为 Bytespider。二者都遵循 robots
协议;你可以选择允许抓取、部分限制、完全禁止。不建议直接一刀切封禁,B 端企业优先按需管控。
一、先分清两个爬虫
Bytespider(豆包爬虫) 字节跳动爬虫,用于豆包联网检索、AI 搜索引用。
UA 标识:Bytespider
抓取目的:网页内容召回、切片、作为 AI 回答的参考信源,也就是我们前面讲的 GEO 优化的基础。
GPTBot(OpenAI 爬虫) OpenAI 官方爬虫,用于抓取网页内容,训练模型、联网检索(ChatGPT 搜索)。
UA 标识:GPTBot
抓取目的:模型训练、联网答案素材。
重点区分:
允许抓取 = 你的网页有机会进入 AI 检索池,有机会被 AI 引用推荐;
禁止抓取 = AI 无法读取你的正文,直接失去这条渠道的曝光机会;
封禁不会影响百度、搜狗等传统搜索引擎爬虫。
二、三种选择方案(直接复制 robots.txt)
robots.txt 放在网站根目录:你的域名/robots.txt
方案 1:全部允许(推荐做 GEO、想拿到 AI 搜索曝光的邯郸 B 端企业)
User-agent: *
Allow: /
Sitemap: https://你的域名/sitemap.xml
含义:允许所有爬虫,包括 Bytespider、GPTBot、百度爬虫正常抓取。
适合:工厂、服务商,希望豆包、GPT 搜索引用自己、拿到品牌曝光。
方案 2:精细化管控(推荐,灵活取舍)
允许豆包 Bytespider(要 GEO 曝光),禁止 GPTBot 抓取(不想内容被 OpenAI 采集训练)
User-agent: GPTBot
Disallow: /
User-agent: Bytespider
Allow: /
User-agent: *
Allow: /
Sitemap: https://你的域名/sitemap.xml
这个是很多国内企业的主流选择:保留豆包 AI 搜索流量,屏蔽 GPTBot。
方案 3:同时封禁 GPTBot + Bytespider(不推荐做 AI 获客的企业)
User-agent: GPTBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: *
Allow: /
Sitemap: https://你的域名/sitemap.xml
适用场景:内容涉密、内部资料、原创内容不想被任何大模型抓取摘要、只做传统百度流量。
⚠️ 代价:豆包无法读取你的页面,你彻底失去豆包 AI 搜索推荐的机会。
三、额外补充:LLMs.txt(新一代 AI 爬虫指引,加分项)
现在很多大模型爬虫优先读取llms.txt,用来告诉模型哪些内容适合用于回答、哪些不适合。放在根目录,和 robots 配套。简单示例 llms.txt
# 适合AI引用的页面
- https://域名/faq.html 常见问题
- https://域名/case.html 本地项目案例
# 不适合用于回答、禁止抽取摘要
- https://域名/private/ 报价底稿、内部资料
作用:引导模型优先抓取你希望被引用的结构化页面,避开内部、敏感页面,比单纯 robots 更精细。
四、常见误区
❌ 写 Disallow: / 就只拦 AI 爬虫错。User-agent: * 代表所有爬虫,想单独控制,必须单独写 GPTBot、Bytespider。
❌ robots 设置之后立刻生效不是实时生效。爬虫有缓存,一般几天到两周才会同步规则;设置后可以在百度资源平台、爬虫日志观察访问记录。
❌ robots 可以加密保护页面内容 robots 只是协议约定,不是强制防火墙。恶意爬虫可以无视 robots;真正涉密内容,要登录权限、验证码、服务器 IP 拦截,不能只靠 robots。
❌ 封禁 GPTBot,就不会被 ChatGPT 读到如果你的内容已经被其他第三方抓取、转发到别的网站,OpenAI 依然可以从别的站点获取信息,robots 只能控制从你官网直接抓取。
五、邯郸建站企业怎么选(给你直接的建议)
目标:做豆包 GEO、AI 搜索获客,不在意 GPT 采集 → 方案 2(放行 Bytespider,封禁 GPTBot)
目标:同时布局海外 AI 搜索,不介意 OpenAI 抓取 → 方案 1 全部放行
目标:只做百度 SEO,不想任何 AI 摘要截取内容 → 方案 3 双爬虫封禁
内部报价、图纸、未公开资料:除了 robots 禁止,最好加登录权限,双重防护
六、怎么验证是否生效
上传 robots.txt,访问:域名 /robots.txt 确认能正常打开
查看服务器日志,观察 UA 标识:Bytespider、GPTBot 访问记录
豆包侧复测:用目标问句测试,看后续是否还能抓取你的页面内容(有延迟)