# =============================================
# Professional Robots.txt - Global SEO Optimized
# Generated automatically for https://strongpassword.org
# Optimized for all major search engines worldwide
# =============================================

# 全球通用搜索引擎爬虫规则
User-agent: *
Allow: /

# 禁止抓取的目录（保护隐私和资源）
Disallow: /admin/
Disallow: /backend/
Disallow: /tmp/
Disallow: /temp/
Disallow: /test/
Disallow: /includes/
Disallow: /vendor/
Disallow: /node_modules/
Disallow: /cache/
Disallow: /log/
Disallow: /logs/
Disallow: /private/
Disallow: /config/

# 禁止抓取的文件类型（PDF现在允许抓取）
Disallow: /*.zip
Disallow: /*.exe

# ========== 北美和欧洲搜索引擎 ==========

# Google系列爬虫（美国）
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Googlebot-Video
User-agent: Google-InspectionTool
User-agent: Google-Site-Verification
User-agent: Googlebot-Mobile
Allow: /

# 移动端优先爬取
User-agent: Googlebot-Mobile
Allow: /
Crawl-delay: 1

# Bing/Microsoft系列爬虫（美国）
User-agent: Bingbot
User-agent: MSNBot
User-agent: MSNBot-Media
User-agent: AdIdxBot
User-agent: BingPreview
User-agent: Bingbot-Mobile
Allow: /

# Yahoo系列爬虫（美国）
User-agent: Slurp
Allow: /

# DuckDuckGo爬虫（美国）
User-agent: DuckDuckBot
Allow: /

# ========== 亚洲搜索引擎 ==========

# 百度系列爬虫（中国）
User-agent: Baiduspider
User-agent: Baiduspider-image
User-agent: Baiduspider-video
User-agent: Baiduspider-news
User-agent: Baiduspider-favo
User-agent: Baiduspider-cpro
Allow: /

# 搜狗爬虫（中国）
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: Sogou blog
User-agent: Sogou News Spider
Allow: /

# 360搜索爬虫（中国）
User-agent: 360Spider
User-agent: HaosouSpider
Allow: /

# Yandex系列爬虫（俄罗斯）
User-agent: YandexBot
User-agent: YandexMobileBot
User-agent: YandexImages
User-agent: YandexVideo
User-agent: YandexMedia
User-agent: YandexBlogs
User-agent: YandexFavicons
User-agent: YandexWebmaster
User-agent: YandexPagechecker
User-agent: YandexImageResizer
User-agent: YandexAntivirus
User-agent: YandexMetrika
User-agent: YandexDirect
User-agent: YandexScreenshotBot
Allow: /

# Naver系列爬虫（韩国）
User-agent: Yeti
User-agent: NaverBot
Allow: /

# Seznam爬虫（捷克）
User-agent: SeznamBot
User-agent: Seznam screenshot bot
Allow: /

# ========== 其他国际搜索引擎 ==========

# Apple爬虫
User-agent: Applebot
Allow: /

# Facebook爬虫
User-agent: facebookexternalhit
User-agent: FacebookBot
Allow: /

# Twitter爬虫
User-agent: Twitterbot
Allow: /

# LinkedIn爬虫
User-agent: LinkedInBot
Allow: /

# Pinterest爬虫
User-agent: Pinterest
Allow: /

# Instagram爬虫
User-agent: Instagram
Allow: /

# ========== AI和现代爬虫 ==========

# AI爬虫支持
User-agent: Claude-Web
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /

# ========== 专业分析工具爬虫 ==========

# 允许的分析工具（适度限制频率）
User-agent: MJ12bot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: BLEXBot
Crawl-delay: 3

# 恢复有用的爬虫
User-agent: archive.org_bot
Allow: /

User-agent: CCBot
Allow: /

# ========== 阻止的恶意爬虫 ==========

# 阻止已知的恶意或过度消耗资源的爬虫
User-agent: 007ac9
User-agent: 008
User-agent: 80legs
User-agent: ADmantX
User-agent: aiHitBot
User-agent: AlphaBot
User-agent: CazoodleBot
User-agent: Cliqzbot
User-agent: CloudFlare-AlwaysOnline
User-agent: Crawler
User-agent: DnyzBot
User-agent: DomainCrawler
User-agent: DuckDuckGo-Favicons-Bot
User-agent: Ezooms
User-agent: Genieo
User-agent: Gigabot
User-agent: GrapeshotCrawler
User-agent: Heritrix
User-agent: IRLbot
User-agent: IstellaBot
User-agent: LCC
User-agent: LinkpadBot
User-agent: Lipperhey
User-agent: LivelapBot
User-agent: LoadTimeBot
User-agent: Meanpathbot
User-agent: Mediatoolkitbot
User-agent: MIIxpc
User-agent: MojeekBot
User-agent: Moreover
User-agent: OpenLinkProfiler
User-agent: PageScorer
User-agent: PiplBot
User-agent: ProWeb
User-agent: ResearchScan
User-agent: Rogerbot
User-agent: Screaming
User-agent: Seekport
User-agent: SemanticsBot
User-agent: Serpstatbot
User-agent: ShopWiki
User-agent: SiteExplorer
User-agent: Sitebulb
User-agent: Snapbot
User-agent: spbot
User-agent: SurveyBot
User-agent: TurnitinBot
User-agent: UptimeRobot
User-agent: Uptimebot
User-agent: Voila
User-agent: WBSearchBot
User-agent: WebAlta
User-agent: WebCollage
User-agent: WebStripper
User-agent: WebZip
User-agent: WotBox
User-agent: XoviBot
User-agent: YioopBot
User-agent: YottaShopping_Bot
User-agent: YoudaoBot
User-agent: Zao
User-agent: Zookabot
User-agent: ZumBot
User-agent: zwizard
Disallow: /

# ========== 站点地图声明 ==========

# 站点地图声明（必须）
Sitemap: https://strongpassword.org/sitemap.xml

# =============================================
# 全球SEO优化说明：
# 1. 允许所有主要搜索引擎抓取主要内容
# 2. 移除了不必要的Crawl-delay限制，提高收录速度
# 3. 保护敏感目录不被索引
# 4. 明确声明站点地图位置
# 5. 阻止恶意爬虫消耗服务器资源
# 6. 支持北美、欧洲、亚洲等全球主要搜索引擎
# 7. 解决了重复规则冲突问题
# 8. 添加了缺失的重要爬虫（Google-InspectionTool、BingPreview等）
# 9. 允许PDF文件被搜索引擎抓取（重要更新）
# 10. 添加了移动版爬虫支持（Googlebot-Mobile、Bingbot-Mobile）
# 11. 添加了AI爬虫支持（Claude-Web、ChatGPT-User、GPTBot）
# 12. 恢复了有用的爬虫（archive.org_bot、CCBot）
# 13. 为分析工具设置了合理的Crawl-delay限制
# 14. 添加了移动端优先爬取规则（Googlebot-Mobile单独设置Crawl-delay: 1）
# =============================================