Vad är robots.txt? Filen som styr vad Google får titta på

Skriven av

Sörmlands Webbyrå

Publicerad

9 november 2026

Lästid

3 min

Illustration av en småföretagare vid sin bärbara dator där hemsidans öppna entrédörr välkomnar besökare medan dörren till bakrummet är stängd.

En robots.txt är en liten textfil som talar om för sökrobotar vilka delar av sajten de får gå in på. En sökrobot, även kallad crawler, är det automatiska program som sökmotorer använder för att läsa av webben. Många företagare söker på vad robots txt är när de bygger om hemsidan i WordPress eller Astro. Här ser du när filen behövs och hur du slipper ett vanligt misstag vid lansering.

När behöver din hemsida en egen fil?

De flesta vanliga företagshemsidor behöver sällan ändra något i filen alls. I Googles introduktion till robots.txt på Search Central framgår att filen främst ska hindra sökrobotar från att överbelasta servern med onödiga besök.

Har du en vanlig sajt i WordPress skapar systemet eller ditt SEO-tillägg oftast en vettig grundfil automatiskt. Bygger webbyrån en snabb sajt i Astro lägger utvecklaren in en färdig textfil som pekar ut sidkartan, alltså listan över sajtens viktiga sidor.

Filen styr vilka mappar roboten ska hoppa över, till exempel inloggningssidor, kundkorgar eller interna sökresultat. Då lägger Google sin tid på dina riktiga tjänstesidor i stället, vilket är en grundbult i teknisk SEO. Samtidigt minskar den onödiga trafiken på webbhotellet, skriver MDN Web Docs i sin ordlista om robots.txt. Det avlastar din huvudserver på ungefär samma sätt som ett CDN.

Viktigt att veta är att filen inte fungerar som ett kassaskåp för hemliga dokument. Om en annan webbsida länkar till en avstängd adress kan Google ändå visa själva länken i sökresultatet. Sidor som inte alls får synas på Google ska därför låsas med lösenord. De kan också märkas med noindex, alltså en kodrad som förbjuder sökmotorn att spara sidan.

Så tittar du på din egen robots.txt

Du ser din egen fil genom att skriva /robots.txt direkt efter ditt domännamn i webbläsarens adressfält. Har ditt företag adressen exempel.se skriver du alltså exempel.se/robots.txt och trycker på enter.

På skärmen dyker det upp några korta rader med enkel text utan bilder eller design. De två vanligaste raderna ser ut så här när hela sajten är öppen för besök:

User-agent: *
Disallow:

Raden User-agent: * betyder att regeln gäller alla besökande sökrobotar. När det är helt tomt efter Disallow: är dörren öppen, och sökmotorerna får läsa hela hemsidan.

Jämförelse mellan en öppen dörr i robots.txt där sökroboten släpps in och en stängd dörr med ett snedstreck som stoppar sökroboten.

Misstaget som stänger ute Google efter lansering

Ett enda litet snedstreck efter ordet Disallow: räcker för att stänga ute Google från hela din hemsida. Under en ombyggnad i WordPress eller i en testmiljö för Astro kryssar utvecklaren ofta i en ruta som ber sökmotorer att hålla sig borta.

Då skriver systemet in ett snedstreck i filen, alltså Disallow: /, vilket betyder att alla mappar från startsidan och nedåt är förbjudna. Om ingen tar bort den spärren på lanseringsdagen slutar Google att läsa in dina sidor.

Du märker oftast misstaget genom att sajten tappar sina placeringar eller inte dyker upp alls när kunder söker. Om du har kopplat sajten till Google Search Console varnar verktyget tydligt när viktiga sidor stoppas av filen. Be då din webbyrå eller din SEO-tekniker att öppna inställningarna och ta bort spärren, så sköter de de tekniska detaljerna.

Som Cloudflare beskriver i sin genomgång av hur robots.txt fungerar är filen en artig överenskommelse snarare än en brandvägg. Seriösa sökmotorer som Google följer reglerna direkt, medan skräpbotar kan strunta i dem. På senare tid har filen även fått en ny uppgift. Allt fler företag lägger nu in regler för de AI-robotar som samlar in text till chattjänster.

Källor

Vanliga frågor

Vad är robots.txt på en hemsida?
Det är en liten textfil i hemsidans huvudmapp som talar om för sökrobotar vilka sidor och mappar de får besöka. Filen fungerar som en hänvisningsskylt vid entrén för sökmotorer som Google.
Hur ser jag min egen robots.txt?
Skriv in din vanliga webbadress i webbläsaren och lägg till /robots.txt på slutet. Då visas textfilen direkt på skärmen om din hemsida har en.
Räcker robots.txt för att dölja en privat sida på Google?
Nej, filen hindrar bara sökroboten från att gå in och läsa sidan. Om någon annan länkar till adressen kan den ändå dyka upp i sökresultatet, så privata sidor ska skyddas med lösenord eller en noindex-regel.

Vill ni få hjälp att omsätta det här i praktiken?

Vi hjälper företag och organisationer i Sörmland med hemsidor, SEO och löpande digital utveckling. Hör av er så tittar vi på ert läge.