Robots.txt

Filen robots.txt används främst för att hindra sidor från att komma med i sökmotorernas index och för att ta bort sidor som redan finns med. Har du ingen robots.txt betyder det att alla sökmotorer har fritt fram att komma åt och indexera allt innehåll på din webbplats.

Det är dock rekommenderat att du har en sådan fil även om den är tom (tillåt allt) eftersom sökmotorerna kommer att förfrågningar efter den.

Alla stora sökmotorer (Google, Yahoo, Live) och förmodligen de flesta små har kommit överens om en gemensam standard och följer de instruktioner du har i din robots.txt.

Ska vara en enkel textfil som ska ligga på rooten i din domän, alltså här: www.dindomän.se/robots.txt

Exempel

User-agent: *
Disallow: /

User-agent: *
Disallow: /temp/

User-agent: Googlebot
Disallow: /temp/
Disallow: /onödigt/skräpkatalog/
Disallow: /privat_fil.html

User-agent: Googlebot-Image
Disallow: /

User-agent: *
Crawl-delay: 10

User-agent: *
Allow: /mapp1/fil.html
Disallow: /mapp1/

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /

Sitemap: http://www.din-domän.com/sitemap.xml
Sitemap: http://www.din-domän.com/sitemap2.xml

# Här kommer en kommentar

Exempel på mönstermatchning

Asterisk (*) matchar en teckensekvens och dollartecken ($) anger slutet på en URL.

User-agent: *
Disallow: /privat*/

User-agent: *
Disallow: /*.gif$

User-agent: *
Disallow: /*?

User-agent: *
Allow: /hur-du-fixar-sessionid.html
Disallow: /*sessionid

User-agent: *
Disallow: /konto

Verkliga exempel:

• robots.txt på SEO-guide.se
• robots.txt på Regeringen.se
• robots.txt på Google.com

Lista på vanliga spindlar att användas med robots.txt

• Googlebot - Googles huvudbot för deras sökmotor
• Slurp - Yahoo!
• msnbot - Live Sök
• Mediapartners-Google - bot från Google som används för AdSense
• Googlebot-Image - bot från Google som används för Googles bildsök

Några råd och varningar

• Använd inte robots.txt för att blockera hemliga platser eftersom alla med en webbläsare kan se din robots.txt som ligger öppet för alla och kan därefter surfa till de platser du vill hålla hemligt. Använd i så fall hellre META-robots eller blockera på servernivå såsom med .htaccess.
• Var noga med att inkludera / i slutet på mappar du vill blockera - annars blockerar du alla filer som börjar med de bokstäverna. Till exempel så blockerar /temp/ mappen temp medan /temp blockerar alla filer som börjar med temp som till exempel template.php.
• Det är skillnad på stora och små bokstäver.
• Illasinnade bottar och spindlar som till exempel de som söker efter e-postadresser att spamma ignorerar din robots.txt.
• Om du använder komplicerade regler med till exempel mönstermatchning så rekommenderar jag att du testar din robots.txt i Googles verktyg för webbansvariga under Tools -> Analyze robots.txt så att du inte gjort något misstag.

---