# Cashare Robots.txt # https://www.cashare.ch User-agent: * Allow: / # Verdichtete Faktenlage für KI-Crawler (llms.txt kennt robots.txt nicht als # eigene Anweisung; die Allow-Zeilen stellen sicher, dass keine Regel sie sperrt) Allow: /llms.txt Allow: /llms-full.txt # XML Sitemap Sitemap: https://www.cashare.ch/sitemap.xml # Block internal/dev paths Disallow: /api/ Disallow: /_frsh/ Disallow: /migration # Block query string pages Disallow: /*?* # Allow search engines to access CSS and JS for rendering Allow: /*.css$ Allow: /*.js$ # --------------------------------------------------------------------------- # KI-Crawler: bewusst zugelassen (Entscheid 13.09.2026) # Damit Cashare in KI-Antworten und KI-Suchen als Quelle erscheinen kann. # Namentliche Regeln sind nötig, weil eine User-agent-Gruppe die "*"-Gruppe # vollständig ersetzt — sonst greifen die Disallow-Zeilen oben für diese Bots nicht. # Liste quartalsweise nachziehen, siehe tasks/ai-crawler-audit.ts # --------------------------------------------------------------------------- # OpenAI User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User # Anthropic User-agent: ClaudeBot User-agent: Claude-User User-agent: Claude-SearchBot # Perplexity User-agent: PerplexityBot User-agent: Perplexity-User # Google Gemini / AI Overviews (steuert nur die KI-Nutzung, nicht die Websuche) User-agent: Google-Extended # Apple Intelligence User-agent: Applebot-Extended # Common Crawl User-agent: CCBot # Meta User-agent: meta-externalagent Allow: / Allow: /llms.txt Allow: /llms-full.txt Disallow: /api/ Disallow: /_frsh/ Disallow: /migration Disallow: /*?*