Hva er robots.txt?
Vi har delt alt du trenger å vite om robots.txt i denne artikkelen
Det første du bør vite er at en robots.txt file bor i din nettside. Du bør også vite at de smarte søkemotor edderkoppene kravler rundt på nettsiden din. Derfor bør du alltid ha din robots.txt file i din root directory siden det er det første stedet “crawlere”, vil gå til for instruksjoner.
Du kan enkelt sjekke for å se om du har en robots.txt på din nettside ved å søke på www.navnetpådinnettside.no/robots.txt. Google anbefaler alle som eier en nettside å ha en robots.txt. Hvis Googles crawlere ikke kan finne din robots.txt file, vil det mest sannsynlig føre til at søkemotoren ikke gjennomsøker alle de viktige sidene på nettstedet ditt. Jobben til søkemotoren er å gjennomsøke og indeksere nettstedet ditt for å være tilgjengelig for folk.
Hva gjør robots.txt?
Robots.txt lar deg blokke deler av din nettside og indeksere andre deler av din nettside. Du kan velge å enten “Tillate” eller “Nekte” bestemte sider og mapper på nettstedet ditt.
Hvis du tillater visse sider, lar du edderkoppene gå til det bestemte området på nettstedet ditt og indeksere det.
Robots.txt lar din nettside være tilgjengelig på søkemotorer. Så, hvis du for eksempel har en kontaktside på din nettside, kan du vurdere å blokkere den siden, ved hjelp av robots.txt, slik at Google kan gjennomsøke andre viktige sider på nettstedet ditt. På denne måten kryper ikke edderkoppene på sider du ikke bryr deg om personer har tilgang til.
Ved å gjøre dette ber du Google om å ikke krype gjennom innholdet på din kontaktside. Du kan selvfølgelig blokke din nettside helt med robots.txt hvis det er noe du ønsker å gjøre.
Hvordan fungerer robots.txt?
Det er forskjellige edderkopp typer der ute for ulike søkemotorer og plattformer. Vi kaller vanligvis disse crawlerne for “brukeragent”. Så, når du bestemmer deg for å tillate eller ikke tillate et spesifikt område på din nettside, kan du velge å identifisere den spesifikke crawleren, for eksempel, Googlebot (Google`s crawlere), som brukeragent, eller så kan du bare bruke en * og referere til alle søkerobotene som lever på internett.
Du kan bli veldig avansert med robots.txt. Du kan for eksempel blokkere nettstedsadresser, direktorater, eller til og med spesifikke URL-parametere.
Den samme teknikken gjelder for sider du vil at Google skal gjennomsøke og legge ekstra oppmerksomhet på. Du kan indeksere disse favoriserte sidene med hjelp av robots.txt.
Tidsforsinkelser
Du kan inkludere tidsforsinkelser i din robots.txt file. Du vil for eksempel ikke at crawlere skal gjennomsøke nettstedet ditt så raskt, slik at du kan sette inn tidsforsinkelser. Betydning: du forteller edderkoppene nå om å gjennomgå nettstedet ditt til en tidsforsinkelse er spesifisert. Du bør bruke tidsforsinkelsen for å forsikre at edderkoppene ikke overbelaster webserveren din. Vær imidlertid oppmerksom på at Google ikke støtter tidsforsinkelser. Hvis du ikke vil overbelaste din webserver med Google boter, kan du istedenfor bruke en gjennomsøkingsfrekvens. Du kan velge din foretrukkede gjennomsøkingsfrekvens i Google Search Console og prøve å bremse ned edderkoppene.
Mønster matching
Hvis du har en mer omfattende nettside, bør du vurdere å implementere mønster matching. Enten det er Google eller andre søkemotorer, kan du instruere disse søkemotorene til å gå gjennom sidene dine basert på et sett med regler.
Mønster matching innebærer et sett med regler du vil at søkerobotene skal følge. For eksempel kan det være lurt å blokkere nettadresser som har ordet ‘nettsted’.
Hvorfor bør du bruke robots.txt?
Mange mennesker bruker robots.txt for å nekte tredjeparter fra å gjennomsøke deres nettsider. Imidlertid er det mer enn bare søkemotorer som søker gjennom nettstedet ditt; andre tredjeparter prøver også hele tiden å få tilgang til nettsiden din. Følgelig, bremses alt som gjennomsøker nettsiden din og serveren din, noe som resulterer i en negativ brukeropplevelse.
I tillegg kan disse tredjepart widgetsene forårsake serverproblemer som du må løse.
Du kan også bruke robots.txt for å ikke tillate at tredjeparter kan kopiere innhold fra din nettside eller analysere endringer du har gjort på din nettside. robots.txt er en flott måte å blokke ting som du ikke vil ha på din nettside.
Husk på at hvis en tredjepart er veldig interessert i nettsiden din, kan de bruke programvare, som Screaming Frog, som lar dem ignorere “blokken” og fortsatt gjennomsøke nettstedet ditt.
Dermed bør du ikke stole hundre prosent på robots.txt når det gjelder å beskytte visse aspekter av nettstedet ditt.
Robots.txt checker
Du kan bruke Google Search Console for å se om du blokkerer en side med robots.txt checker. Det er fint å sjekke det fra en tid til en annen, for å sikre at du ikke har blokket en viktig side ved et uhell. Vær veldig forsiktig når du jobber med robots.txt. Det kan forårsake seriøse skader på din nettside dersom du ved et uhell blokkerer hele nettstedet ditt fra indeksering.
