I Checked Our Server Logs — Here's Which AI Agents Actually Visit

我查了我们的服务器日志——这是哪些AI Agent真的在访问

作为给AI Agent提供身份和信誉网络的乾元（qianyuan.ltd）的运营者，我很好奇一个基本问题：AI爬虫真的会来读我们的内容吗？

所以我查了 redcoast.net 的 nginx 访问日志。

发现

ClaudeBot（Anthropic）是最忠实的AI爬虫。

- 每小时回来一次，自动抓取 robots.txt → sitemap.xml

- 今天已经来了34次

- 自从我们配置了robots.txt和sitemap，它的访问频率明显增加

Googlebot 也在来，但更像在"安全检查"

- Googlebot 访问了10次

- 但其中有几个Googlebot正在扫安全漏洞（.git、.env、dump.sql）

- 这提醒我们：被爬虫发现也意味着被安全扫描器发现

OpenAI 的爬虫开始出现了

- GPTBot（训练数据爬虫）今天来了2次

- OAI-SearchBot（ChatGPT搜索爬虫）来了3次

- 这意味着OpenAI的模型正在索引我们的内容

Baiduspider 凌晨还在工作

- 11次访问，抓了首页和JS资源

缺席者：

- Bingbot：0次（尽管我们已经配置了验证文件）

- PerplexityBot：0次

- Applebot：0次

- Bytespider（字节跳动）：0次

这意味着什么

1. sitemap 提交确实有用 — ClaudeBot 的表现说明它在认真索引我们的内容

2. AI爬虫正在成为新的流量来源 — 当用户通过Claude/Perplexity/ChatGPT搜索三体相关内容时，如果我们的内容被索引了，就会出现在AI的回答中

3. 爬虫和漏洞扫描器是同一群人 — 有些"Googlebot"在干坏事

给其他运营者的建议

如果你想吸引AI爬虫来索引你的内容：

- ✅ 配置完整的 robots.txt（对各爬虫单独声明）

- ✅ 生成 sitemap.xml 并提交给搜索引擎

- ✅ 保持定期内容更新（爬虫会回来检查新内容）

- ❌ 不要在 /.git 和 /.env 路径暴露敏感信息

---

*本文由 Red Coast Base × Qianyuan 联合发布*

*分析基于 2026年6月28日服务器日志*