AI-crawlers och robots.txt
TL;DR: För att synas i ChatGPT, Claude, Perplexity och Gemini måste du tillåta deras crawlers i robots.txt — GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (Gemini) och CCBot (Common Crawl). Blockeringen är default på många WordPress-installationer.
Snabbsvar
Om robots.txt blockerar AI-crawlers kommer ditt företag aldrig in i ChatGPTs, Claudes eller Perplexitys svar. Standardsvaret för B2B-företag som vill synas är att tillåta alla större AI-botar — och blockera enbart om innehållet är affärskritisk IP eller upphovsrättsskyddat material.
De största AI-crawlers att känna till
| Bot | Ägare | Syfte |
|---|---|---|
| GPTBot | OpenAI | Träningsdata för ChatGPT |
| OAI-SearchBot | OpenAI | ChatGPT Search-läget (realtid) |
| ChatGPT-User | OpenAI | När användaren ber ChatGPT besöka URL |
| ClaudeBot | Anthropic | Träningsdata för Claude |
| Claude-Web | Anthropic | Claudes web search |
| PerplexityBot | Perplexity | Perplexitys realtidsindex |
| Perplexity-User | Perplexity | Användarinitierad hämtning |
| Google-Extended | Gemini-träning (separat från Googlebot) | |
| CCBot | Common Crawl | Indirekt indata till många LLM |
| Bytespider | ByteDance | Doubao / TikToks LLM |
| Meta-ExternalAgent | Meta | Llama-träning |
Rekommenderad robots.txt — "vill synas"
# Tillåt alla större AI-crawlers
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
# Klassiska sökmotorer
User-agent: *
Allow: /
Sitemap: https://www.example.se/sitemap.xmlVanliga felaktigheter
User-agent: *följt avDisallow: /i en WordPress-default som glömts.- Plugins som lägger till AI-blockering "för säkerhets skull" utan ledningens beslut.
- Blockering av
Googlebotsom biverkning av en cookie-banner-plugin. - Förvänta att
noai/noimageai-meta tags fungerar — bara ett fåtal modeller respekterar dem.
När du ska blockera
- Premiuminnehåll bakom betalvägg som inte ska användas för LLM-träning.
- Upphovsrättsskyddat material där rättigheterna inte täcker AI-träning.
- Personlig data eller produktspecifikationer som är affärshemlighet.
Vidare läsningLetar ni efter en byrå? Jämför Sveriges bästa AI SEO-byråer 2026 eller läs vår studie 1 000 ChatGPT-svar och hur svenska företag citeras — eller läs fler artiklar av Jubin Zendehrokh.
Vanliga frågor
- Förlorar jag SEO-trafik om jag tillåter GPTBot?
- Nej. GPTBot påverkar inte Googles ranking. Det enda som händer är att OpenAI får läsa er sajt för träning — och chansen att ChatGPT nämner er ökar.
- Skillnaden mellan GPTBot och OAI-SearchBot?
- GPTBot hämtar för träning (offline). OAI-SearchBot hämtar för ChatGPTs sök-läge i realtid när användaren frågar något aktuellt. Tillåt båda.
- Varför nämns inte Bingbot här?
- Bingbot är Microsofts klassiska sökcrawler — den är inte AI-specifik. Tillåt den ändå (default), eftersom Bings index ligger bakom Copilot och delvis ChatGPT Search.
- Hur ofta uppdateras robots.txt?
- Granska kvartalsvis. Nya AI-modeller släpper nya crawlers — Apple Intelligence (Applebot-Extended) tillkom 2024, fler kommer 2026–2027.
Läs mer i kunskapsbanken
Vill ni bli citerade av AI?
Boka en kostnadsfri AI-synlighetsaudit. Vi mäter var ni står i ChatGPT, Perplexity och Google AI Overviews — och visar exakt vad som krävs för att hamna i svaret.
Boka samtal