Google og andre søkemotorer sender ut små programmer som «crawler» seg gjennom nettsteder for å indeksere dem.
Det finnes bokstavelig talt milliarder av sider på internett som skal gjennomgås jevnlig, så disse små krabatene har ikke tid til å stoppe opp for å tenke seg om.
Det er derfor svært viktig at din nettside er lett å indeksere for søkemotorenes roboter.
Det hjelper ikke å ha verdens beste innhold på nettsiden, dersom det ikke kan leses og indekseres av søkemotorer, for da kan heller ingen søke frem siden din.