Hva er robots.txt, og hvordan bruker du den riktig?
Kort svar
Robots.txt er en tekstfil i rotkatalogen til nettstedet ditt som instruerer søkemotorroboter om hvilke deler av nettstedet som kan og ikke kan crawles. Den brukes til å styre crawle-budsjett og holde ikke-offentlige sider (som admin-paneler) unna søkemotorindeksen. En enkelt feil i filen kan i verste fall blokkere hele nettstedet fra Google.
Hva gjør robots.txt konkret?
Filen ligger alltid på samme sted: dittdomene.no/robots.txt, og leses av søkemotorroboter før de begynner å crawle nettstedet. Den kan blokkere hele nettstedet, spesifikke mapper (som /admin/ eller /studio/), eller tillate alt eksplisitt for navngitte roboter.
Hva bør og bør ikke blokkeres?
Bør blokkeres: administrasjonspaneler, interne API-endepunkter og duplisert innhold som ikke skal indekseres. Bør ikke blokkeres: CSS- og JavaScript-filer (Google trenger disse for å forstå hvordan siden faktisk ser ut og fungerer), og selvfølgelig ikke sider du faktisk ønsker skal rangere.
Den vanligste og farligste feilen
Den mest alvorlige feilen er en feilplassert "Disallow: /" som blokkerer hele nettstedet fra alle søkemotorer — dette skjer overraskende ofte etter en relansering eller migrering, der en midlertidig blokkering fra utviklingsmiljøet aldri blir fjernet. Sjekk alltid robots.txt rett etter en lansering eller større endring.
Vil du ha en teknisk sjekk av robots.txt og indekseringsstatus?
Book gratis teknisk SEO-gjennomgang →Les mer