Kontrollera robots.txt för AI-crawlers

OpenAI använder tre user agents på webben och en för annonser, och beskriver var och en på sitt sätt.

• GPTBot crawlar innehåll som kan användas för att träna OpenAIs generativa grundmodeller. Enligt OpenAI signalerar en blockering att ditt innehåll inte ska användas för träning.
• OAI-SearchBot används för sökfunktionerna i ChatGPT. Enligt OpenAI visas sajter som blockerar den inte i ChatGPTs söksvar, men de kan visas som navigeringslänkar.
• ChatGPT-User besöker sidor när användare frågar ChatGPT eller en Custom GPT, och för GPT Actions. Enligt OpenAI gäller robots.txt-reglerna kanske inte för den, och den används inte för att avgöra om innehåll visas i sök.
• OAI-AdsBot besöker bara sidor som skickats in som annonser, och enligt OpenAI används datan inte för att träna grundmodeller. Verktyget tar inte med den.

OpenAI säger också att de kan använda en crawl för båda syftena om både GPTBot och OAI-SearchBot är tillåtna, och att en ändring i robots.txt kan ta cirka 24 timmar att slå igenom i sök.

OpenAI: Overview of OpenAI Crawlers

Enligt Google är Google-Extended en fristående produkttoken utan egen user agent. Den styr om ditt innehåll används för att träna Gemini och för grounding i Gemini-apparna och Vertex AI. Google skriver att den inte påverkar om en sajt finns med i Google Sök och att den inte används som rankningssignal.

Googles sida om AI-funktioner och din webbplats säger att robots.txt-reglerna för Googlebot styr crawlningen för Sök, inklusive AI-funktionerna. Sidan säger inte att Google-Extended påverkar AI-översikterna. Därför visar verktyget Googlebot som en egen rad.

• Google: Google's common crawlers
• Google: AI features and your website

Leverantörerna säger olika saker, så verktyget visar vad var och en säger om varje crawler.

• OpenAI beskriver vad en blockering av GPTBot och OAI-SearchBot gör, och säger att robots.txt-reglerna kanske inte gäller för ChatGPT-User.
• Anthropic säger att deras botar följer robots.txt.
• Perplexity säger att Perplexity-User hämtar sidor på en användares begäran och i regel ignorerar robots.txt-reglerna.
• Google säger att robots.txt-reglerna för Googlebot styr crawlningen för Sök, och att Google-Extended är en token i robots.txt.

robots.txt är ingen åtkomstkontroll. Standarden, RFC 9309, säger att reglerna inte är en form av behörighetskontroll. Verktyget ser bara filen, inte vad en crawler gör.

IETF: RFC 9309, Robots Exclusion Protocol

Här är ett exempel som blockerar crawlers för träning och släpper in crawlers för AI-sök. Det är ett exempel, inte en rekommendation: om du tillåter träning är butikens eget val.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

Varje grupp börjar med sina User-agent-rader. Enligt RFC 9309 följer en crawler gruppen som nämner den, och gruppen för * bara när ingen grupp gör det. Googlebot finns inte med i exemplet, så den följer din grupp för * som förut.

Shopify skapar robots.txt åt din butik. För att ändra den säger Shopify att du lägger till mallen robots.txt.liquid. Stegen har namnen från Shopifys hjälpartikel på engelska:

1. Gå till Online Store i Shopify-adminen.
2. Öppna Edit code för ditt tema.
3. Välj Add a new template.
4. Välj robots.
5. Välj Create template.

Shopify varnar: ”Incorrect use of the feature can result in loss of all traffic.” Fel användning kan alltså kosta all trafik. Det är en anpassning som Shopify inte stöder, så Shopify Support hjälper inte till med ändringen.

Shopifys standardfil blockerar redan sökvägar som /admin, /cart och /checkout.

WooCommerce och Centra hanterar filen på andra sätt. Läs plattformens egen dokumentation.

Shopify Help Center: Editing robots.txt.liquid

Verktyget läser bara filen. Det kan inte säga:

• om ett CDN, en brandvägg eller ett botskydd stoppar en crawler som robots.txt släpper in,
• om en AI-tjänst faktiskt har hämtat, indexerat eller nämner din butik,
• om en ändring ger fler omnämnanden, citat eller mer försäljning.

Vad ChatGPT, Gemini och Googles AI-översikter faktiskt svarar när köpare frågar är det Ansedd mäter.