Lista
Pierwszą wyszukiwarką stron internetowych była lista 1991r wyszukiwarka – Gopher, później pojawiały się: Veronica, WebCrawler, AltaVista, Lycos, Exite, Yahoo, a w 1996 roku - Google. Pierwsze wersje internetowych szperaczy wykrywały i indeksowały tylko tytuły stron WWW. Dzisiejsze wyszukiwarki indeksują zaś nie tylko zawartość całej strony WWW, ale także różne typy plików, jak np. Adobe Acrobat (PDF), dokumenty Microsoft Office, pliki dźwiękowe i wideo.Lepszym rozwiązaniem jest generowanie mapy przy pomocy języka skryptowego np. PHP lub korzystanie z licznych programów generujących mapę wskazanej strony. Dla przyspieszenia indeksacji i łatwiejszego dotarcia do mapy przez robota zaleca się dodanie strony, a następnie mapy serwisu do narzędzia oferowanego przez Google: „Narzędzia dla webmasterów”. Program po akceptacji mapy wskaże ewentualne błędy i inne problemy.
Wszelkie działania mające na celu polepszania pozycji jaką zajmuje strona w wynikach wyszukiwania nazywamy pozycjonowaniem. Prawdziwy bum na pozycjonowanie pojawił się wraz z spopularyzowaniem się wyszukiwarki googole. Mnóstwo osób zajęło się takim optymalizowaniem wszystkich parametrów stron www aby algorytmy Google uznały ją za wartościową(Szczególnie na początku ery googole było to proste gdyż pozycja strony zależała od tego ile odnośników do niej googole znajdzie na innych stronach w internecie). Pozycjonowanie rozwija się do dziś. Doboszka lektury niezwykle konsumuje silne kaloryfery.