Bruk serverlogger til å forstå crawling
Serverlogger viser forespørsler som faktisk har nådd serveren. De kan hjelpe med å undersøke gjentatte feil og hvilke URL-mønstre som bruker ressurser.
I denne guiden
Slik går du frem
- Avgrens tidsrom og relevante vertsnavn.
- Grupper forespørsler etter sti og statuskode.
- Verifiser robotidentitet før du tolker trafikken som Googlebot.
Et praktisk eksempel
Illustrerende situasjon, ikke en kundehistorie: Mange forespørsler til gamle filteradresser kan forklare unødvendig belastning, selv om de ikke er synlige i dagens navigasjon.
Dette bør du passe på
Et navn i user-agent er ikke bevis på en bestemt robot. Logger kan også inneholde personopplysninger som krever tilgangskontroll.
Kontroller resultatet
Sammenlign funnene med redirect-regler og faktiske URL-er før du endrer crawler-tilgangen.
Neste steg
Les mer i fagområdet teknisk seo . Trenger du hjelp til å prioritere eller gjennomføre, kan du få hjelp med SEO .
Kilde og videre dokumentasjon
Google Search Central om crawling og indeksering . Arbeidsrekkefølgen og eksemplet over er Ohai sine praktiske forslag; kilden beskriver plattformens rammer.