robots.txt

Robots.txt är en av de mest grundläggande men ofta missförstådda delarna av teknisk SEO. Den ser liten ut, men kan få stor betydelse för hur din webbplats indexeras av Google och andra sökmotorer. I den här guiden går vi på Sörmlands Webbyrå igenom vad robots.txt gör, skillnaden mellan Allow och Disallow, vad du faktiskt bör blockera (och inte), vanliga misstag samt hur du enkelt testar din robots.txt-fil. Artikeln är anpassad för dig som driver företag eller jobbar med marknadsföring – oavsett om din sajt är i Sörmland eller någon annan del av Sverige.

Vad är robots.txt?

Robots.txt är en enkel textfil som ligger i roten (huvudmappen) på din webbplats. Den talar om för sökmotorers så kallade crawlers (”spindlar”) vilka delar av sajten de får besöka och indexera. Filen är alltså ett sätt att styra trafiken från Googlebot, Bingbot och liknande – inte för att hålla människor borta, utan för att hjälpa sökmotorer förstå vad du vill visa upp.

Den är viktig eftersom du genom rätt inställningar kan undvika att onödiga eller känsliga sidor hamnar på Google, samtidigt som du ger sökmotorerna fri väg till det innehåll som verkligen ska synas.

• Robots.txt-filens URL är alltid: https://dindomän.se/robots.txt
• Den är helt offentlig – vem som helst kan läsa den
• Enbart instruktioner, inget skydd mot hackare eller nyfikna besökare

Vill du förstå mer om grunderna i teknisk SEO? Vi har en hel guide om teknisk SEO.

Så fungerar crawling och indexering i praktiken

När en sökmotor hittar din sida försöker den först läsa av robots.txt. Där står det vilka mappar och sidor som får, respektive inte får, besökas (crawlas). Disallow används för att säga ”gå inte hit”, medan Allow kan användas för att ge undantag om du har blockerat en bredare mapp men vill släppa igenom någon undersida.

Vill du veta mer om hur hela SEO-processen fungerar från crawl till ranking? Läs hur fungerar SEO guide.

Allow vs Disallow – vad är skillnaden?

Disallow i robots.txt säger åt sökmotorer att inte crawla eller visa vissa delar av din webbplats. Det kan vara adminpaneler, interna PDF:er eller testmiljöer som absolut inte ska indexeras. Men ibland vill du undanta en viss fil eller sida trots att hela mappen är blockerad – då använder du Allow.

• Disallow: /intern/ – blockerar allt under /intern/
• Allow: /intern/jobbannonser/ – släpper igenom just /intern/jobbannonser/

Tänk på att Allow bara har effekt om det finns överlappande Disallow-regler. Annars är Allow onödigt att ange.

Exempel på smart användning av robots.txt

Det är lätt hänt att man vill vara överambitiös och blockera för mycket – eller för lite. Här är två exempel från svenska företag:

• Ett e-handelsföretag i Sörmland ville inte att deras interna sökresultat skulle indexeras och skrev därför Disallow: /search. Resultatet? Mindre ”skräp” i Google och bättre kontroll över vilka produktsidor som syns.
• Ett mindre konsultbolag lanserade nytt intranät. Genom Disallow: /intranet/ såg de till att inga interna dokument exponerades för sökmotorer.

Vill du veta mer om att optimera bilder för SEO eller skriva rätt SEO-texter? Kika på våra guider.

Vad bör (och ska inte) blockeras med robots.txt?

Alla sidor ska inte indexeras. Men det är viktigt att veta vad du bör blockera och vad som ska lämnas öppet. Här är några riktlinjer:

• Blockera: Inloggade sidor, adminpaneler, testmiljöer, interna dokument, filtreringsparametrar
• Lämna öppet: Viktiga landningssidor, produktsidor, blogginlägg och annat som ska synas i Google
• Undvik att blockera viktiga resurser: CSS, JavaScript och bilder – särskilt på moderna sajter. Sökmotorer behöver ibland dessa filer för att se layout och mobilvänlighet korrekt.

Behöver du hjälp att hitta vilka sidor som verkligen betyder något för din Google-närvaro? Se vår on-page SEO-guide för konkreta tips.

Vanliga misstag med robots.txt

• Blockera hela sajten av misstag: Raden Disallow: / stänger av all indexering.
• Använda robots.txt för att ”dölja” känslig information: Det förhindrar bara sökmotorer, inte människor eller hackare.
• Blockera CSS eller JavaScript: Kan göra att Googlebot inte fattar sajtens utseende, vilket påverkar ranking negativt.
• Lita för mycket på Allow: Allow används bara om det finns en Disallow-konflikt; annars händer inget alls.
• Glömma bort olika bots: Vissa botar följer inte robots.txt alls. Det finns inga garantier för total sekretess.

Hur testar man en robots.txt?

Det är klokt att alltid testa ändringar i robots.txt innan du lanserar dem. Ett litet fel kan få stora konsekvenser – till exempel att hela sajten försvinner ur Googles index. Så här gör du:

• Använd Google Search Console – där finns ett verktyg för att testa robots.txt-regler
• Besök dindomän.se/robots.txt och dubbelkolla formatet
• Använd tjänster som Google Developers robots.txt-tester

Om du vill läsa mer om GSC och få steg-för-steg-instruktioner, se vår Google Search Console-guide.

Checklista: Så får du en säker och effektiv robots.txt

• Bestäm var filen ska ligga (/robots.txt i sajtens rot)
• Sätt User-agent till * (för alla bots) om du inte har särskilda skäl
• Lista endast det som ska blockeras. Lämna resten öppet
• Blockera aldrig CSS, JS eller nödvändiga bilder
• Testa reglerna före publicering
• Uppdatera filen direkt vid större sajtändringar
• Håll koll på Search Console varningar om crawl-problem

Hur hänger robots.txt ihop med din SEO-strategi?

Rätt inställd robots.txt hjälper Google och andra sökmotorer hitta, förstå och indexera precis de sidor du bryr dig om. Det minskar också risken för duplicerat innehåll, sprider crawlbudget till rätt delar och skyddar interna eller onödiga ytor från att synas publikt.

Se robots.txt som en del av din tekniska SEO-verktygslåda. För en helhetsbild kring SEO-arbete rekommenderar vi vår SEO-hubb där du hittar guider om allt från första stegen till avancerade strategier.

Exempel på robots.txt-fil

User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /interna-dokument/
Allow: /interna-dokument/publik/
Sitemap: https://dindoman.se/sitemap.xml

I exemplet tillåts allt utom adminsidor, inloggning och interna dokument – förutom en publik mapp i interna-området. Slutligen anges sajtens sitemap (en karta över viktiga sidor), så att Google snabbt hittar det som ska indexeras. Om du vill grotta djupare i XML-sitemaps, missa inte vår sitemap-guide.

Säkerhet & robots.txt – vad du INTE ska göra

Robots.txt är till för att vägleda sökmotorer – INTE för att skydda hemligheter. Lägg aldrig lösenord, API-nycklar eller liknande i någon sökbar fil. Om något verkligen ska vara privat, använd lösenordsskydd eller brandvägg, aldrig bara robots.txt.

Sammanfattning: Vad ska du ta med dig?

• Robots.txt styr hur sökmotorer läser din sajt, men skyddar den inte
• Använd Disallow för att blockera interna, oviktiga eller känsliga delar
• Blockera inte CSS, JavaScript eller bilder
• Testa alltid din robots.txt innan publicering
• Integrera robots.txt i din löpande SEO-strategi tillsammans med andra grundinställningar

Vill du jobba mer med teknisk SEO, se över sidladdningstid eller mobilvänlighet? Våra guider täcker allt du behöver för långsiktig SEO-framgång.

FAQ om robots.txt

Vad händer om jag råkar blockera hela sajten i robots.txt?

Om du lägger till Disallow: / för alla user-agents i din robots.txt kommer ingen sida att crawlas eller indexeras av sökmotorer. Sajten försvinner successivt ur Google. Lägg gärna till rutinen att alltid dubbelkolla detta innan du publicerar en uppdaterad robots.txt.

Måste jag ha en robots.txt-fil?

Nej, du måste inte ha en robots.txt. Om du inte har någon alls så försöker sökmotorerna besöka och indexera allt de hittar. Men nästan alla webbplatser tjänar på att ha en enkel robots.txt för att styra undan interna sidor, testmiljöer och annat oviktigt.

Följer alla sökmotorer robots.txt?

De stora, som Googlebot och Bingbot, följer robots.txt. Men det är ingen teknisk spärr – illvilliga aktörer (och vissa mindre seriösa botar) kan ignorera filen helt.

Hur testar jag om min robots.txt fungerar?

Använd gärna Google Search Console, där finns ett testverktyg. Du kan även använda Google Developers robots.txt-tester. Skriv in URL:en du vill testa och se vad resultatet blir.

Ska jag lägga in min sitemap i robots.txt?

Ja, det är en god idé att lägga till raden Sitemap: följt av din XML-sitemaps adress. Det gör det enklare för sökmotorerna att hitta ditt viktigaste innehåll.

Kan jag blockera bilder eller pdf:er?

Ja, du kan blockera bilder eller pdf-mappar genom att skriva t.ex. Disallow: /bilder/ eller Disallow: /*.pdf. Men blockera aldrig viktiga bilder som behövs för layout eller användarupplevelse.

Hur ofta bör jag uppdatera robots.txt?

Vid större sajtändringar, nya funktioner, flytt av mappar eller uppdaterade sökstrategier. Annars räcker det att ha koll 1–2 gånger per år och agera direkt vid varning i Search Console.

Var hittar jag mer om teknisk SEO och indexering?

Du hittar våra guider om teknisk SEO, sökmotoroptimering och XML‑sitemap direkt på sajten. Läs mer där om du vill fördjupa dig.