Robots.txt og indeksering er to forskjellige ting
Robots.txt styrer crawling, men er ikke en sikker metode for å holde en URL ute av søkeresultatene. Valg av tiltak avhenger av hva du vil oppnå.
I denne guiden
Slik går du frem
- Bestem om siden skal være privat eller bare utelates fra søk.
- Bruk tilgangskontroll for privat innhold.
- La Google kunne lese noindex når det er indeksering du vil hindre.
Et praktisk eksempel
Illustrerende situasjon, ikke en kundehistorie: En offentlig kampanjeside med noindex må kunne crawles for at søkemotoren skal oppdage instruksen. En kundeside med persondata trenger innlogging.
Dette bør du passe på
Å blokkere en URL i robots.txt kan hindre Google i å se en noindex på siden.
Kontroller resultatet
Kontroller både robots-reglene og den faktiske responsen fra URL-en før du konkluderer.
Velg tiltak etter formålet
| Formål | Vanlig utgangspunkt | Viktig begrensning |
|---|---|---|
| Beskytte private dokumenter | Innlogging og tilgangskontroll. | En søkemotorinstruks er ingen sikkerhetssperre. |
| Holde en offentlig side ute av indeks | Noindex som søkemotoren kan lese. | Crawling må ikke blokkeres slik at instruksen skjules. |
| Begrense crawling av bestemte områder | Relevante robots-regler. | URL-er kan fortsatt bli kjent gjennom andre lenker. |
Reglene må kontrolleres for riktig vertsnavn og riktig respons. En robots.txt på ett underdomene løser ikke automatisk oppgaven for alle andre underdomener.
En vanlig feil etter lansering
Et nettsted kan være gjort offentlig, mens en gammel blokkering fra utviklingsmiljøet fortsatt ligger igjen. Start med å kontrollere robots.txt, HTML-metadata og eventuelle HTTP-headere på en faktisk tjenesteside. Ikke anta at CMS-innstillingen beviser hva serveren sender.
Hvis en side tidligere var indeksert, kan endringer ta tid før de gjenspeiles i søkeresultatene. Undersøk siden i Search Console, og skill mellom en teknisk rettelse du kan kontrollere nå og Googles senere behandling.
Google forklarer robots.txt og noindex .
Neste steg
Les mer i fagområdet teknisk seo . Trenger du hjelp til å prioritere eller gjennomføre, kan du få hjelp med SEO .
Kilde og videre dokumentasjon
Google Search Central om crawling og indeksering . Arbeidsrekkefølgen og eksemplet over er Ohai sine praktiske forslag; kilden beskriver plattformens rammer.