A keresőmotorok a keresőrobotok és pókok segítségével indexelik a weboldalakat, annak érdekében, hogy azok gyorsabban és hatékonyabban kereshetőek legyenek a felhasználó számára. Általában az egyes oldalak teljes tartalmát indexelik (legyen az szöveges vagy akár multimédiás), illetve vannak olyan szolgáltatások is, amelyek a már indexelt metaindexelésével foglalkoznak, ők már nem foglalkoznak az eredeti tartalom feltérképezésével. Az indexelés a keresés hatékony működéséhez elengedhetetlen, mivel enélkül mindig végig kellene vizsgálni az összes fájlt, majd kiválogatni azokat, amelyek a felhasználó kérésének megfelelnek. Az indexek átvizsgálása ehhez képest másodpercek töredéke alatt megtörténik, a felhasználónak jóformán nem is kell várnia a keresési eredmények megjelenítésére.