# LTIsland Insight — 面向公众展示的独立子产品，本来就要被看见，
# 跟 Hermes 私有交易引擎的防爬策略是两回事，不要沿用那套思路。
#
# 检索类 AI 爬虫（决定「是否被 AI 助手引用」的关键一群，优先放行）：
User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: DuckAssistBot
Allow: /

# 主流搜索引擎（2026-07-16显式列出，跟AI爬虫清单一致——欢迎是明说的，不是靠
# 下面User-agent: *通配符默认放行去隐含涵盖）：
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# 训练类 AI 爬虫（用于模型训练语料，同样放行）：
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Allow: /

# 一般搜索引擎与其他爬虫：
User-agent: *
Allow: /
Disallow: /analysis
Disallow: /api/
Disallow: /login
Disallow: /logout

Sitemap: https://ltisland.com/sitemap.xml