
Allt fler av dina kunder ställer sina frågor till en AI istället för att googla. Enligt Internetstiftelsens Svenskarna och internet 2025 använder fyra av tio svenskar AI-verktyg, och ChatGPT ensamt används av drygt var tredje. Drygt var femte svensk ställer numera frågor till en AI som de annars hade googlat.
Så här blir frågan konkret för dig som driver företag: när någon frågar ChatGPT om en leverantör i din bransch, finns ditt företag med i svaret? Eller är din webbplats osynlig för just de verktyg som dina kunder börjar lita på?
Svaret beror ofta på en liten textfil som du kanske aldrig har öppnat. Den heter robots.txt, och den avgör vad olika robotar får och inte får hämta från din sajt. Problemet är att ”blockera AI” inte är en enda knapp. Det är många. Och trycker du på fel, kan du försvinna ur AI-svaren utan att ens veta om det.
Vad robots.txt faktiskt är
Robots.txt är en vanlig textfil som ligger högst upp på din webbplats, på adressen exempel.se/robots.txt. Vem som helst kan läsa den, även dina konkurrenter. Den fungerar som en skylt vid entrén där du skriver instruktioner till robotar som besöker sajten: den här mappen får du titta i, den här ska du hålla dig borta från.
Det viktiga att förstå är att filen är en artig förfrågan, inte ett lås. Standarden bakom den (RFC 9309 från 2022) säger rakt ut att reglerna inte är någon form av åtkomstkontroll. Skötsamma robotar följer dem. Mindre nogräknade gör det inte alltid. Vi återkommer till varför det spelar roll.
Saknar du en robots.txt helt? Då är allt tillåtet. Det är ett helt normalt och friskt läge, inget fel i sig. Det betyder bara att inga robotar har blivit ombedda att hålla sig borta från något.
Varför ”AI-robot” inte är en sak
Här kommer den del som de flesta artiklar hoppar över, och som är hela poängen.
Varje stort AI-företag kör inte en robot, utan flera. Och de gör olika jobb. I grova drag finns det tre sorter:
En robot som tränar modellen. Den samlar in innehåll som kan användas för att lära upp själva AI:n. Att blockera den påverkar inte om du syns i svaren, bara om ditt material får vara med och träna.
En robot för synlighet i AI-sök. Den avgör om ditt företag kan dyka upp när någon ställer en fråga och får ett svar. Det är den här du oftast vill släppa in.
En robot som hämtar en sida när en människa ber om det. När en användare klistrar in din länk och säger ”sammanfatta den här”, går AI:n och hämtar sidan i stunden.
Tar vi OpenAI som exempel blir det tydligt. GPTBot är träningsroboten. OAI-SearchBot är den som styr om du syns i ChatGPT:s söksvar. ChatGPT-User är den som hämtar en sida på användarens begäran. OpenAI:s dokumentation är tydlig med att inställningarna är oberoende av varandra. Du kan släppa in OAI-SearchBot för att synas i svaren, samtidigt som du stänger ute GPTBot från att träna på ditt innehåll.
Anthropic (Claude) följer enligt sin hjälpsida om robotarna samma mönster, med ClaudeBot för träning, Claude-SearchBot för sökindexering och Claude-User för användarstyrda besök. Perplexity har enligt sin utvecklardokumentation PerplexityBot för sin sökindex och Perplexity-User för det en användare ber om.
Ser du fällan? Om du läser ”blockera AI” och stänger allt som heter något med GPT eller Claude, kan du råka stänga av just den robot som hade fått in dig i svaren. Du sparar ditt innehåll från träning, men priset är att du blir osynlig för kunden som frågar.
De tre fällorna som får folk att tro fel
Tre specialfall ställer till det mest, eftersom namnen lurar dig att tro att de gör något de inte gör.
Google-Extended är ingen sökspärr. Enligt Googles dokumentation påverkar den varken om din sajt finns med i Google Sök eller hur den rankas. Det gäller även AI Overviews, de AI-svar som dyker upp högst upp i Google, eftersom de hör till Google Sök och bygger på det vanliga sökindexet via Googlebot. Men Google-Extended styr mer än träning. Den avgör både om ditt innehåll får användas för att träna Gemini-modellerna och om Gemini-appen får hämta det som underlag när den svarar. Blockerar du den påverkas alltså inte din synlighet i Google Sök, men däremot i Gemini.
Applebot-Extended kryper inte alls. Den hämtar inga sidor, enligt Apples beskrivning av Applebot. Den styr bara om innehåll som Apple redan har samlat in får användas för att träna deras modeller. Att blockera den gör dig inte mindre synlig hos Apple. En sida som stänger ute Applebot-Extended kan fortfarande dyka upp i Apples sökresultat. Vill du dessutom hindra att ditt innehåll används som underlag i ett AI-genererat Apple-svar är det nosnippet-taggen som styr det, inte Applebot-Extended. Det är alltså två skilda val, och själva blockeringen handlar bara om träning.
De användarstyrda robotarna bryr sig ofta inte om robots.txt. Det här är den knepigaste. När en människa själv ber AI:n att besöka en sida behandlar flera operatörer det som att personen själv öppnade en webbläsare. Perplexity skriver rakt ut att deras Perplexity-User i regel ignorerar robots.txt. OpenAI säger att reglerna ”kanske inte gäller” för ChatGPT-User. Det betyder att du i praktiken inte kan lita på robots.txt för att stänga ute dem. Anthropic är undantaget och säger att alla deras robotar respekterar filen, även den användarstyrda.
Filen är en förfrågan, inte ett lås
Det är värt att stanna vid en sak, så att du inte invaggas i falsk trygghet. Robots.txt stoppar ingen tekniskt. Den ber bara snällt.
De flesta seriösa AI-robotar lyder. OpenAI, Google, Anthropic, Apple och Common Crawl säger alla att de respekterar filen. Men efterlevnaden är varken total eller felfri. I augusti 2025 publicerade Cloudflare en uppmärksammad rapport där de menade att Perplexity använde dolda robotar för att kringgå både robots.txt och nätverksspärrar. Perplexity bestred slutsatserna. Tvisten är fortfarande olöst, men den visar något viktigt: vill du verkligen stänga ute en robot som inte samarbetar, räcker inte robots.txt. Då krävs en riktig teknisk spärr, som en brandvägg eller bot-skydd på serversidan.
En annan sak som förvånar många: att blockera en robot i robots.txt tar inte bort en sida ur sökresultaten. Vill du att en sida verkligen inte ska synas behöver du en noindex-tagg eller lösenordsskydd, inte en rad i robots.txt. Och en kuriös konsekvens av det: roboten måste få läsa sidan för att över huvud taget se din noindex-tagg. Stänger du den ute i robots.txt kan den aldrig läsa instruktionen om att hålla sig borta.
Vad du faktiskt bör göra
Börja med att skilja på tre frågor som lätt buntas ihop. Vill du synas i AI-svar som ChatGPT, Perplexity och Claude? För de allra flesta småföretag är svaret ja. Det är gratis marknadsföring mot en publik som växer snabbt. Vet du inte hur du syns där idag kan du testa det på tio minuter. Har du något emot att ditt innehåll tränar AI-modeller? Och finns det privata delar, som kundportaler eller interna dokument, som aldrig ska krypas alls?
För de flesta är det rimliga upplägget att synas men slippa träning: släpp in sökrobotarna (OAI-SearchBot, PerplexityBot, Claude-SearchBot och Googlebot) och stäng ute träningsrobotarna om du vill (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot). Ett undantag att väga: eftersom Google-Extended också styr om Gemini-appen får använda ditt innehåll som underlag, ska du låta den vara öppen om du vill synas i Gemini.
Så här kan det se ut i praktiken:
# Synas i AI-sök
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Stänga ute modellträning där det går
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /Exemplet är ingen universallösning. Det visar bara principen: släpp in robotarna som hjälper din synlighet och stäng ute dem som mest handlar om träning, om du nu vill det. Kontrollera alltid din faktiska fil, eftersom andra regler, brandväggar och plugininställningar kan ändra resultatet.
En regel att komma ihåg när du namnger robotar: en rad för User-agent: * gäller normalt alla robotar som inte har en egen, mer specifik grupp i filen. Men skapar du en separat grupp för till exempel GPTBot eller ClaudeBot, är det den specifika gruppen som styr för just den roboten. Därför behöver du vara tydlig med varje robot du faktiskt vill släppa in eller stänga ute, istället för att lita på att en allmän regel fångar upp dem.
Och kom ihåg att robots.txt aldrig är säkerhet. Privata sidor hör hemma bakom inloggning, inte bakom en artig förfrågan.
Är din webbplats osynlig för AI just nu? Testa direkt
Ett vanligt fel är inte ett medvetet beslut. Det är en gammal rad i robots.txt som ett plugin lade till, eller som blev kvar från när sajten byggdes, och som tyst stänger ute robotarna du egentligen vill ha in.
Du kan kontrollera det på några sekunder. Vårt kostnadsfria verktyg AI-robotkoll hämtar din robots.txt, läser av vad den säger till de stora AI-robotarna, och visar i klartext om du blockerar någon av dem, av vilken sort, och vad det faktiskt innebär. Inget krångel, ingen inloggning.
Visar testet att allt är öppet men du ändå inte syns i AI-svaren? Då sitter problemet längre ner, ofta i ett bot-skydd eller en serverinställning som robots.txt inte avslöjar. Det är precis den sortens djupare genomgång vår GEO- och AI-synlighetsanalys är till för.
Din robots.txt är värd en titt
Den här lilla filen avgör mer än de flesta tror. Den står mellan ditt företag och en växande grupp kunder som hellre frågar en AI än skrollar i en träfflista. Och en rad som stänger ute fel robot är också ett av de enklaste problemen att rätta till, när man väl ser den.
Kör AI-robotkollen på din egen adress. Visar den en spärr du inte kände till, är det oftast en enda rad att ändra. Visar den att allt är öppet men du ändå saknas i svaren, skicka resultatet till oss, så letar vi vidare i bot-skydd och serverinställningar.
Robotnamn och regler kontrollerade mot OpenAI:s, Anthropics, Googles, Apples och Perplexitys dokumentation i oktober 2026. De ändras ofta, så kontrollera din fil med jämna mellanrum.