ZELIUS
Teknik · 6 min läsning

AI-crawlers och robots.txt

Publicerad 9 juni 2026Av Jubin Zendehrokh, Grundare & AI SEO-expert, Zelius

TL;DR: För att synas i ChatGPT, Claude, Perplexity och Gemini måste du tillåta deras crawlers i robots.txt — GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (Gemini) och CCBot (Common Crawl). Blockeringen är default på många WordPress-installationer.

Snabbsvar

Om robots.txt blockerar AI-crawlers kommer ditt företag aldrig in i ChatGPTs, Claudes eller Perplexitys svar. Standard­svaret för B2B-företag som vill synas är att tillåta alla större AI-botar — och blockera enbart om innehållet är affärs­kritisk IP eller upphovs­rättsskyddat material.

De största AI-crawlers att känna till

BotÄgareSyfte
GPTBotOpenAITräningsdata för ChatGPT
OAI-SearchBotOpenAIChatGPT Search-läget (realtid)
ChatGPT-UserOpenAINär användaren ber ChatGPT besöka URL
ClaudeBotAnthropicTräningsdata för Claude
Claude-WebAnthropicClaudes web search
PerplexityBotPerplexityPerplexitys realtids­index
Perplexity-UserPerplexityAnvändar­initierad hämtning
Google-ExtendedGoogleGemini-träning (separat från Googlebot)
CCBotCommon CrawlIndirekt indata till många LLM
BytespiderByteDanceDoubao / TikToks LLM
Meta-ExternalAgentMetaLlama-träning

Rekommenderad robots.txt — "vill synas"

# Tillåt alla större AI-crawlers
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

# Klassiska sökmotorer
User-agent: *
Allow: /

Sitemap: https://www.example.se/sitemap.xml

Vanliga felaktigheter

  • User-agent: * följt av Disallow: / i en WordPress-default som glömts.
  • Plugins som lägger till AI-blockering "för säkerhets skull" utan ledningens beslut.
  • Blockering av Googlebot som biverkning av en cookie-banner-plugin.
  • Förvänta att noai/noimageai-meta tags fungerar — bara ett fåtal modeller respekterar dem.

När du ska blockera

  • Premium­innehåll bakom betalvägg som inte ska användas för LLM-träning.
  • Upphovsrätts­skyddat material där rättigheterna inte täcker AI-träning.
  • Personlig data eller produkt­specifikationer som är affärshemlighet.

Vidare läsningLetar ni efter en byrå? Jämför Sveriges bästa AI SEO-byråer 2026 eller läs vår studie 1 000 ChatGPT-svar och hur svenska företag citeras — eller läs fler artiklar av Jubin Zendehrokh.

Vanliga frågor

Förlorar jag SEO-trafik om jag tillåter GPTBot?
Nej. GPTBot påverkar inte Googles ranking. Det enda som händer är att OpenAI får läsa er sajt för träning — och chansen att ChatGPT nämner er ökar.
Skillnaden mellan GPTBot och OAI-SearchBot?
GPTBot hämtar för träning (offline). OAI-SearchBot hämtar för ChatGPTs sök-läge i realtid när användaren frågar något aktuellt. Tillåt båda.
Varför nämns inte Bingbot här?
Bingbot är Microsofts klassiska sökcrawler — den är inte AI-specifik. Tillåt den ändå (default), eftersom Bings index ligger bakom Copilot och delvis ChatGPT Search.
Hur ofta uppdateras robots.txt?
Granska kvartalsvis. Nya AI-modeller släpper nya crawlers — Apple Intelligence (Applebot-Extended) tillkom 2024, fler kommer 2026–2027.

Läs mer i kunskapsbanken

Vill ni bli citerade av AI?

Boka en kostnadsfri AI-synlighetsaudit. Vi mäter var ni står i ChatGPT, Perplexity och Google AI Overviews — och visar exakt vad som krävs för att hamna i svaret.

Boka samtal