Okazuje się, że wyszukiwarki internetowe posiadają w sobie specjalne programy-roboty, które czasami określane są jako pajączki. To one właśnie znajdują oraz przeszukują strony internetowe, tworzą swoistą listę słów i wyrażeń, które w nich znajdują. Potem są one przechowywane w formie bazy, w której są w stanie później przeszukiwać. Moduł z danej wyszukiwarki, który dodaje strony www do bazy danych, określa się modułem indeksującym.
Z czasem użytkownicy wyszukiwarek są w stanie przeszukiwać spisy właśnie pod kątem wybranych słów i fraz. Jednocześnie wyszukiwarki starają się maksymalnie dopasować zapytania, słowa wprowadzone przez użytkownika w formie wyników stron www, które mogą je w sumie zawierać.
Pajączek podąża za łączem do danego adresu URL, prosi serwer o przesłanie określonej strony w danym adresie i po odpowiedni pozytywnej spisuje on ją, indeksuje słowa, które się na niej znajdują. Zależnie od zawartości i kilku innych czynników danej strony określa się wagę danej strony dla konkretnych słów i zwrotów. Taki rezultat jest w bazie danych. Im większa waga, tym wyższa pozycja wyszukiwania. Spis taki, owa baza jest aktualizowana średnio co miesiąc.